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内 容 简 介 


本 书 以 软件 测试 方法 的 分 类 为 线索 ,以 软件 测试 的 各 种 方法 为 内 容 , 系 统 地 介绍 各 种 软件 测试 方法 的 概念 、 理 
论 , 特 点 和 在 工程 实践 中 应 用 的 例子 ,内 容 力求 简洁 、 清 楚 。 与 已 有 的 软件 测试 教材 和 相关 书籍 相 比 ,本 书 的 特色 
是 以 各 种 软件 测试 方法 为 中 心 ,系统 地 介绍 到 目前 为 止 ,几乎 所 有 的 可 以 查 到 或 见 到 的 软件 测试 方法 ,是 对 目前 已 
经 出 版 的 软件 测试 书籍 的 一 个 重要 补充 。 

全 书 共 分 5 章 , 第 1 章 为 概论 部 分 ,介绍 软件 测试 相关 的 概念 、 方 法、 历史 发 展 、 职 业 和 学 术 研 究 等 方面 ,给 读 
者 一 个 软件 测试 比较 完整 的 视图 ,同时 强调 本 书 试图 系统 介绍 软件 的 概念 、 理 论 和 方法 ; 第 2 一 6 章 都 是 介绍 各 种 
软件 测试 方法 ,其 中 第 2 章 介绍 一 般 的 白 盒 和 黑 盒 测试 方法 ,第 3 章 介 绍 软件 开发 过 程 中 各 个 阶段 的 软件 测试 ,第 
4 章 介绍 31 种 针对 软件 各 种 特性 和 各 个 方面 的 测试 ,第 5 章 介 绍 30 种 专门 的 软件 测试 方法 ,第 6 章 介绍 12 种 利 
用 新 方法 ,新 平台 或 者 满足 新 要 求 的 软件 测试 方法 。 全 书 每 章 各 个 小 节 后 均 附 有 习题。 

本 书 不 仅 适用 于 高 等 院 校 计算 机 、 软 件 工程 专业 高 年 级 本 科 生 研究生 作为 教材 使 用 ,也 适合 作为 计算 机 软件 
的 开发 人 员 ,软件 测试 的 从 业 人 员 ,广大 科技 工作 者 和 研究 人 员 的 参考 书 。 


本 书 封面 贴 有 清华 大 学 出 版 社 防伪 标签 ,无 标签 者 不 得 销售 。 
版 权 所 有 ,侵权 必 究 。 侵 权 举 报 电话 : 0I0-6Z82689 13701121933 
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出 扳 闹 其 


随 着 我 国 改革 开放 的 进一步 深化 ,高 等 教育 也 得 到 了 快速 发 展 ,各 地 高 校 紧密 结合 地 方 经 济 建 
设 发 展 需要 ,科学 运用 市 场 调节 机 制 ,加 大 了 使 用 信息 科学 等 现代 科学 技术 提升 改造 传统 学 科 专 
业 的 投入 力度 ,通过 教育 改革 合理 调整 和 配置 了 教育 资源 ,优化 了 传统 学 科 专 业 , 积 极为 地 方 经 济 
建设 输送 人 才 , 为 我 国 经 济 社会 的 快速 ,健康 和 可 持续 发 展 以 及 高 等 教育 自身 的 改革 发 展 做 出 了 巨 
大 贡献 。 但 是 ,高 等 教育 质量 还 需要 进一步 提高 以 适应 经 济 社会 发 展 的 需要 ,不 少 高 校 的 专业 设置 
和 结构 不 尽 合理 ,教师 队伍 整体 素质 亚 待 提高 ,人 才 培 养 模式 、 教 学 内 容 和 方法 需要 进一步 转变 ,学 
生 的 实践 能 力 和 创新 精神 亟待 加 强 。 

教育 部 一 直 十 分 重视 高 等 教育 质量 工作 。2007 年 1 月 ,教育 部 下 发 了 (关于 实施 高 等 学 校本 
科教 学 质量 与 教学 改革 工程 的 意见 ), 计 划 实 施 “ 高 等 学 校本 科教 学 质量 与 教学 改革 工程 "(简称 “ 质 
量 工 程 ”), 通 过 专业 结构 调整 ,课程 教材 建设 ,实践 教学 改革 ,教学 团队 建设 等 多 项 内 容 , 进 一 步 深 
化 高 等 学 校 教学 改革 ,提高 人 才 培 养 的 能 力 和 水 平 ,更 好 地 满足 经 济 社会 发 展 对 高 素质 人 才 的 需 
要 。 在 贯彻 和 落实 教育 部 "质量 工程 的 过 程 中 ,各 地 高 校 发 挥 师资 力量 强 、 办 学 经 验 丰富 、 教 学 资 
源 充 裕 等 优势 ,对 其 特色 专业 及 特色 课程 ( 群 ) 加 以 规划 、 整 理 和 总 结 ,更 新 教学 内 容 、 改 革 课 程 体 
系 ,建设 了 一 大 批 内 容 新 、 体 系 新 .方法 新 .手段 新 的 特色 课程 。 在 此 基础 上 ,经 教育 部 相关 教学 指 
导 委 员 会 专家 的 指导 和 建议 ,清华 大 学 出 版 社 在 多 个 领域 精 选 各 高 校 的 特色 课程 ,分 别 规划 出 版 系 
列 教材 ,以 配合 “质量 工程 ”的 实施 ,满足 各 高 校 教 学 质量 和 教学 改革 的 需要 。 

为 了 深入 贯彻 落实 教育 部 (关于 加 强 高 等 学 校本 科教 学 工作 ,提高 教学 质量 的 若干 意见 ) 精 神 ， 
紧密 配合 教育 部 已 经 启动 的 “高 等 学 校 教学 质量 与 教学 改革 工程 精品 课程 建设 工作 ”, 在 有 关 专 家 、 
教授 的 倡议 和 有 关 部 门 的 大 力 支 持 下 ,我 们 组 织 并 成 立 了 “清华 大 学 出 版 社 教材 编审 委员 会 ”以 下 
简称 “ 编 委 会 ”) , 旨 在 配合 教育 部 制订 精品 课程 教材 的 出 版 规划 ,讨论 并 实施 精品 课程 教材 的 编写 
与 出 版 工作 。“ 编 委 会 ?成员 皆 来 自 全 国 各 类 高 等 学 校 教学 与 科研 第 一 线 的 骨干 教师 ,其 中 许多 教 
师 为 各 校 相关 院 、 系 主管 教学 的 院 长 或 系 主任 。 

按照 教育 部 的 要 求 ,“ 编 委 会 "一致 认为 ,精品 课程 的 建设 工作 从 开始 就 要 坚持 高 标准 、 严 要 求 ， 
处 于 一 个 比较 高 的 起 点 上 。 精 品 课程 教材 应 该 能 够 反映 各 高 校 教学 改革 与 课程 建设 的 需要 ,要 有 
特色 风格 .有 创新 性 (新 体系 、 新 内 容 、 新 手段 .新 思路 ,教材 的 内 容 体系 有 和 较 高 的 科学 创新 、 技 术 创 
新 和 理念 创新 的 含量 ) ,先进 性 (对 原 有 的 学 科 体系 有 实质 性 的 改革 和 发 展 ,顺应 并 符合 21 世纪 教 
学 发 展 的 规律 ,代表 并 引领 课程 发 展 的 趋势 和 方向 ) .示范 性 (教材 所 体现 的 课程 体系 具有 较 广泛 的 
辐射 性 和 示范 性 ) 和 一 定 的 前 瞻 性 。 教 材 由 个 人 申报 或 各 校 推荐 (通过 所 在 高 校 的 * 编 委 会 "成员 推 
荐 ) ,经 “ 编 委 会 ”认真 评审 ,最 后 由 清华 大 学 出 版 社 审定 出 版 。 

目前 ,针对 计算 机 类 和 电子 信息 类 相关 专业 成 立 了 两 个 “ 编 委 会 ”, 即 “清华 大 学 出 版 社 计算 机 
教材 编审 委员 会 ”和 "清华 大 学 出 版 社 电 子 信息 教材 编审 委员 会 >。 推出 的 特色 精品 教材 包括 : 
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计算 机 应 用 一 一 高 等 学 校 各 类 专业 ,特别 是 非 计 算 机 专业 的 


计算 机 科学 与 技术 一 一 高 等 学 校 计算 机 相关 专业 的 教材 。 
电子 信息 一 一 高 等 学 校 电 子 信 息 相关 专业 的 教材 。 

软件 工程 一 一 高 等 学 校 软件 工程 相关 专业 的 教材 。 
信息 管理 与 信息 系统 。 

财经 管理 与 应 用 。 

电子 商务 。 

物 联网 。 


清华 大 学 出 版 社 经 过 三 十 多 年 的 努力 ,在 教材 尤其 是 计算 机 和 电子 信息 类 专业 教材 出 版 方面 
品牌 ,为 我 国 的 高 等 教育 事业 做 出 了 重要 贡献 。 清 华 版 教材 形成 了 技术 准确 、 内 容 严 谨 
的 独特 风格 ,这 种 风格 将 延续 并 反映 在 特色 精品 教材 的 建设 中 。 


树立 了 权威 


清华 大 学 出 版 社 教材 编审 委员 会 
联系 人 : 魏 江 江 


E-mail: weijj@ tup. tsinghua. edu. cn 


写作 动机 


由 于 社会 需求 的 推动 ,软件 测试 领域 近年 来 非常 活跃, 涌现 了 大 批 优秀 的 研究 成 果 和 经 验 总 
结 ,不 仅 有 各 种 专门 的 学 术 期 刊 ,学 术 会 议 , 学 术 组 织 和 每 年 成 千 上 万 的 学 术 论文 ,还 有 每 年 出 版 的 
大 量 新 的 软件 测试 教材 和 著作 。 

由 于 一 直 在 软件 测试 领域 从 事 教学 和 科研 工作 ,经 过 多 年 的 积累 ,一 直 想 写本 书 。 一 方面 ,将 
自己 的 积累 贡献 出 来 , 另 一 方面 ,把 软件 测试 领域 的 知识 重新 梳理 一 下 , 既 能 让 自己 的 教学 和 科研 
水 平 上 一 个 新 的 台阶 ,又 能 服务 社会 ,为 软件 测试 领域 的 发 展 注入 一 点 新 的 活力 。 于 是 ,本 人 便 开 
始 实施 这 项 计划 ,并 把 这 项 计划 分 成 三 个 阶段 : 第 一 阶段 是 调研 ,包括 教材 著作 调研 、 学 术 文 献 调 
研 和 学 术 期 刊 会 议 组 织 调研 、 工 具 软 件 调研 等 ; 第 二 阶段 是 对 软件 测试 内 各 专门 领域 进行 总 结 ， 
写 一 批 科 普 性 和 学 术 性 相 统 一 的 学 术 论 文 ; 第 三 阶段 是 完成 书稿 并 出 版 。 


内 容 组 织 


翻阅 了 50 多 本 教材 和 著作 ,受益 匪 浅 , 非 常 感谢 这 些 作者 辛勤 的 工作 ,他 们 确实 利用 自己 的 特 
长 和 专业 积累 为 软件 测试 领域 的 发 展 作出 了 多 姿 多 彩 的 贡献 。 同 时 也 感到 要 想 在 前 人 的 基础 上 创 
新 , 写 一 本 好 的 专业 书籍 是 非常 困难 的 。 

经 过 长 时 间 的 考虑 和 研究 ,决定 将 本 书 定位 于 系统 地 介绍 各 种 软件 测试 方法 。 由 于 近年 来 发 
展 最 为 活跃 的 就 是 各 种 软件 测试 方法 ,已 经 出 版 的 教材 和 著作 无 法 系统 涵盖 这 些 新 的 知识 ,很 多 方 
法 还 只 出 现在 学 术 论文 之 中 ,处 于 实验 室 研究 阶段 。 本 书 介绍 的 近 90 种 软件 测试 方法 中 ,有 近 一 
半 在 我 所 翻阅 的 50 多 本 书 中 根本 找 不 到 。 

本 书 在 写法 上 力求 简洁 、 清 楚 ,不仅 适合 初学 者 或 外 行 阅读 ,也 要 成 为 从 业 人 员 和 专家 学 者 的 
重要 工具 书 和 参考 书 。 为 此 ,本 书 除了 第 1 章 软 件 测试 概论 之 外 ,基本 上 按照 一 个 统一 的 结构 介绍 
每 一 种 软件 测试 方法 。 这 个 框架 包括 概念 .目标 方法、 原理 实例 、 优 缺点 、 研 究 现状 ,参考 文 献 等 。 
个 别 方法 因 具 体 情况 有 所 剪裁 ,特别 是 有 些 方法 还 不 是 很 成 熟 , 只 能 做 一 个 简单 的 介绍 。 

。 目 标 针对 每 一 种 软件 测试 方法 ,首先 介绍 它 的 目的 , 即 它 可 用 来 测试 什么 ? 
方法 具体 介绍 这 个 方法 的 内 容 , 即 这 个 方法 是 什么 ? 
原理 ”介绍 方法 的 原理 ,理论 基础 等 , 即 为 什么 要 用 这 种 方法 ? 
实例 ”通过 例子 将 该 方法 描述 得 更 清楚 。 

优 缺 点 ”评论 该 方法 的 长 处 和 不 足 。 

研究 现状 介绍 研究 现状 ,为 学 者 和 研究 人 员 提 供 参考 (由 于 篇 幅 , 本 书 省 略 了 该 部 分 内 
容 ) 。 

参考 文献 “为 了 写 好 每 种 方法 ,充分 参考 了 已 有 书籍 和 学 术 论文 。 由 于 内 容 比 较 多 ,本 书 
只 在 最 后 列 出 了 部 分 典型 的 参考 文献 ,正文 中 未 进行 标注 。 不 当 之 处 ,请 读者 予以 指出 ,将 
在 本 书 再 版 时 进行 修正 。 
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另外 为 了 方便 各 类 学 生 或 读者 及 时 检查 学 习 效果 ,本 书 每 节 后 面 都 配备 了 习题 。 

本 书 在 编写 过 程 中 得 到 了 南京 大 学 软件 新 技术 国家 重点 实验 室 、 南 京 大 学 计算 机 科学 与 技术 
系 、 国 家 自然 科学 基金 (61272079,61021062) 、863 高 科技 研究 计划 (2008AA01Z143) 以 及 江苏 省 自 
然 科学 基金 (BK2010372) 等 单位 和 基金 的 资助 。 
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本 人 指导 的 研究 生 吴 化 尧 . 钮 辱 涛 、 梁 亚 澜 . 李 杰 和 落 静 等 为 本 书 的 资料 收集 插图 的 制作 做 过 
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近 两 年 来 ,围绕 软件 测试 的 一 些 专题 ,本 人 指导 了 一 批 本 科 生 毕业 设计 ,他 们 的 辛勤 工作 也 为 
本 书 编写 提供 了 一 些 有 价值 的 参考 。 
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第 2 章 
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软件 测试 概论 


软件 测试 作为 软件 质量 保障 的 一 种 重要 的 方法 ,近年 来 已 经 得 到 软件 产业 界 ,学术 界 和 
软件 工程 师 们 普遍 重视 ,目前 ,软件 测试 的 教学 内 容 已 经 从 以 前 作为 软件 工程 课程 中 的 一 章 
发 展 为 一 门 独立 的 课程 ,国内 外 拥有 计算 机 系 的 大 学 几乎 都 开设 了 这 门 课程 ,在 国内 的 几 个 
主要 的 售 书 网 站 上 可 以 找到 的 各 种 软件 测试 的 教材 和 书籍 就 有 40 多 本 。 产 业界 也 逐渐 认 
识 到 不 仅 软件 开发 可 以 成 为 一 门 职业 ,软件 测试 也 是 一 门 重要 的 职业 ,人 们 期 待 着 能 够 培养 
出 可 以 尽早 发 现 软件 错误 的 专门 人 才 , 这 样 可 以 尽量 减少 软件 开发 维护 的 成 本 和 日 后 因为 
软件 故障 而 造成 的 损失 。 学 术 界 已 经 把 软件 测试 作为 一 门 重要 的 相对 独立 的 科学 在 研究 ， 
关于 软件 测试 的 各 种 国际 学 术 会 议 就 有 十 几 个 ,也 有 专门 的 学 术 期 刊 和 关于 软件 测试 的 各 
种 学 术 组 织 。 本 章 从 软件 测试 的 概念 、 分 类 教育 ,科研 和 发 展 等 十 几 个 方面 进行 简单 的 回 
顾 , 以 期 对 软件 测试 有 一 个 比较 完整 的 认识 。 


(1 软件 缺陷 与 管理 


软件 测试 的 核心 任务 就 是 要 发 现 软 件 缺 陷 与 错误 。 

这 里 先 从 错误 说 起 。 错 误 是 人 们 生活 的 一 个 组 成 部 分 ,不 仅 在 思想 上 .行动 上 会 犯错 
误 , 而 且 这 些 错 误 可 以 表现 到 人 们 生产 出 来 的 产品 上 ,可 以 说 ,错误 处 处 都 可 以 发 生 。 人 们 
可 以 犯 语言 错误 、 观 察 错误 、 处 方 错误 、 手 术 错 误 、 驾 驶 错误 、 运 动 错误 、 恋 爱 错 误 等 等 各 种 各 
样 的 错误 ,当然 程序 员 在 软件 开发 的 过 程 中 也 就 可 能 犯 类 似 的 错误 。 错 误 的 后 果 有 了 时 可 能 
微不足道 ,有 时 却 可 能 导致 重大 的 灾难 ,特别 是 软件 开发 过 程 中 ,人 们 的 错误 往往 会 给 软件 
留 下 隐患 。 

程序 员 在 根据 设计 规格 说 明 编 写 程序 的 时 候 可 能 会 理解 错 ,也 可 能 把 代码 写 错 ,他 们 犯 
的 一 个 或 多 个 错误 (Errors) ,最 后 变 成 程序 中 的 故障 (Fault 或 Bug) 或 缺陷 (Defect) , 当 人 们 
执行 程序 的 时 候 , 就 会 发 现 观察 到 的 行为 与 软件 规格 说 明 书 中 预期 的 行为 之 间 的 差异 ,这 就 
导致 了 软件 失效 (Failure) 。 

具体 来 说 ,软件 缺陷 可 以 有 以 下 几 种 类 型 ; 

(1) 软件 规格 说 明 书 中 规定 的 内 容 , 软 件 未 能 实现 。 

(2) 软件 实现 了 规格 说 明 书 中 指明 不 应 该 实现 的 内 容 。 

(3) 软件 未 能 实现 规格 说 明 书 中 虽然 没有 明确 说 明 , 但 应 该 实现 的 内 容 。 

(4) 软件 难以 理解 ,不 方便 使 用 ,可 用 性 差 。 
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软件 测试 的 概念 与 方法 


软件 缺陷 管理 在 很 多 软件 开发 组 织 中 是 软件 开发 和 测试 过 程 中 的 一 个 重要 组 成 部 分 ， 
它 包括 缺陷 预防 、 缺 陷 发 现 、 缺 陷 记 录 和 报告 缺陷 分 类 和 跟踪 、 缺 陷 处 理 和 缺陷 预测 。 

(1) 缺陷 预防 。 通 过 各 种 过 程 和 工具 ,如 良好 的 编码 技术 、 单 元 测试 计划 和 代码 审查 等 
预防 软件 错误 。 

(2) 缺陷 发 现 。 找 出 软件 在 静态 或 动态 测试 时 观察 到 的 错误 原因 ,一 般 通 过 调试 来 
完成 。 
(3) 缺陷 记录 和 报告 。 发 现 的 缺陷 记录 在 一 个 数据 库 中 进行 管理 ,数据 库 记 录 缺 陷 的 
类 型 ,发生 的 频率 .严重 程度 和 发 生 位 置 等 信息 ,方便 产生 缺陷 报告 。 

(4) 缺陷 分 类 和 跟踪 。 数 据 库 中 的 缺陷 一 般 被 分 为 高 严重 性 和 低 严 重 性 ,并 根据 缺陷 
的 性 质 建 议 处 理 方式 ,高 严重 性 错误 一 般 需 要 尽早 提交 开发 人 员 处 理 。 

(5) 缺陷 处 理 。 每 个 记录 在 数据 库 中 的 缺陷 一 开始 都 被 标 为 开放 状态 ,表示 需要 进行 
处 理 。 必 须 指定 一 些 开 发 人 员 来 进行 缺陷 的 定位 和 修改 工作 ,直至 缺陷 消除 ,这 时 将 数据 库 
中 的 缺陷 状态 置 为 关闭 ,表明 缺陷 已 经 处 理 好 。 

(6) 缺陷 预测 。 通 过 一 些 高 级 的 统计 模型 ,根据 已 有 的 缺陷 信息 和 统计 数据 ,对 软件 中 
可 能 存在 的 错误 数量 和 性 质 进行 预测 ,是 软件 缺陷 管理 的 一 个 重要 功能 。 

目前 关于 缺陷 管理 的 工具 有 很 多 ,例如 ,开源 的 工具 Bugzilla、 商 业 的 工具 FogBugz。 


习题 1.1 


1. 软件 错误 有 哪 几 种 类 型 ? 
2. 缺陷 管理 具体 包括 哪些 功能 ? 


(2 软件 质量 


软件 测试 的 核心 目的 就 是 要 度量 和 提高 软件 质量 ,那么 什么 是 软件 质量 ? 

软件 质量 是 一 个 包含 多 个 属性 的 ,可 度量 的 多 维度 的 量 ,其 中 有 些 属 性 比 另 外 一 些 属性 
重要 。 根 据 软件 质量 的 度量 方式 可 以 分 为 静态 质量 属性 和 动态 质量 属性 ,静态 质量 属性 是 
指 实际 代码 和 相关 文档 的 质量 ,包括 代码 的 结构 化 、 可 维护 性 、 可 测试 性 ,文档 的 完整 性 和 可 
读 性 ; 动态 质量 属性 是 指 软 件 使 用 过 程 中 质量 属性 ,包括 软件 的 可 靠 性 、 正 确 性 、 完 备 性 、 可 
用 性 、 可 维护 性 、 可 信 性 和 性 能 等 。 

由 于 软件 是 一 种 不 可 见 的 复杂 的 人 逻辑 体 ,而 且 软 件 开发 过 程 中 环节 较 多 ,测试 工作 上 的 
人 力 、 物 力 是 有 限 的 ,不 可 能 做 穷 举 测试 ,因此 ,客观 上 给 软件 质量 留 下 很 多 隐患 。 再 加 上 我 
们 在 技术 上 也 存在 很 多 局 限 性 ,例如 ,软件 测试 工具 本 身 也 需要 测试 .软件 测试 工具 对 软件 
的 理解 程度 达 不 到 人 的 理解 程度 、 软 件 技术 的 发 展 使 得 软件 的 测试 方法 需要 不 断 地 扩展 新 
的 测试 技术 ,以 及 软件 质量 没有 统一 指标 来 评价 等 因素 ,在 度量 和 提高 软件 质量 方面 ,我 们 
还 有 很 长 的 路 要 走 。 


习题 1.2 
1. 查阅 相关 文献 ,给 出 一 个 相对 比较 完整 的 软件 质量 度量 指标 体系 。 
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2. 软件 质量 体系 中 很 多 指标 是 相互 矛盾 的 ,请 举 出 几 个 例子 。 
(3 软件 测试 的 定义 ,性 质 及 相关 概念 


1. 软件 测试 的 定义 


软件 测试 的 定义 反映 了 人 们 对 该 领域 的 认识 ,到 目前 为 止 ,关于 软件 测试 的 定义 经 历 了 
一 个 从 简单 到 复杂 的 、 从 单一 化 到 多 元 化 的 过 程 。 以 下 以 时 间 为 序 , 列 举 一 些 有 代表 性 的 定 
义 , 这 些 定义 之 间 有 的 可 以 相互 补充 ,有 的 可 以 相互 包含 ,各 具 特 色 , 可 以 从 不 同 角度 对 软件 
测试 做 出 比较 全 面 的 和 准确 的 表述 。 

定义 1 测试 是 为 发 现 错误 而 运行 一 个 程序 或 系统 的 过 程 。 

定义 2 测试 是 以 评价 一 个 程序 或 者 系统 的 属性 为 目标 的 任何 一 种 活动 ,测试 是 对 软 
件 质量 的 度量 。 

定义 3 使 用 人 工 或 自动 的 手段 来 运行 或 测定 某 个 软件 系统 的 过 程 ,其 目的 在 于 检验 
软件 是 否 满足 规定 的 需求 或 弄 清 预期 结果 与 实际 结果 之 间 的 差别 。 

定义 4 软件 测试 是 软件 生存 周期 内 的 一 个 重要 阶段 ,是 软件 质量 保证 的 重要 步骤 ,是 
软件 投入 运行 前 ,对 软件 需求 分 析 、 设 计 规 格 说 明和 编码 进行 最 终 复审 的 活动 。 

定义 5 测试 是 为 了 度量 和 提高 被 测试 软件 的 质量 ,对 测试 软件 进行 工程 设计 、 使 用 和 
维护 的 并 发 生命 周期 活动 。 

定义 6 软件 测试 是 一 种 作为 主体 的 人 通过 各 种 手段 对 客体 软件 的 某 种 固有 属性 进行 
的 一 种 以 认 知 和 改造 为 目的 的 活动 。 

定义 7 软件 测试 是 根据 软件 开发 各 阶段 的 规格 说 明和 程序 的 内 部 结构 而 精心 设计 的 
一 批 测试 用 例 ,并 利用 这 些 测试 用 例 运 行程 序 以 及 发 现 错误 的 过 程 。 

定义 8 软件 测试 以 寻找 软件 错误 ,增强 软件 正确 性 和 满意 度 等 为 目标 ,对 软件 进行 测 
试 设计 、 生 成 .执行 ,结果 记录 和 分 析 维 护 等 活动 ,在 此 过 程 中 坚持 预防 性 为 主 、 充 分 进行 风 
险 分 析 、 尽 量 使 用 工具 等 原则 ,以 提高 测试 活动 的 科学 性 .有效 性 和 经 济 性 。 图 1-1 给 出 的 
软件 测试 的 三 个 层面 , 即 目 标 \ 活 动 和 原则 ,强调 三 维 一 体 。 


NS SN a 担 
RA pA RY 
SS Ea | 中 | 答 
ES 容 此 | 笠 | 各 
二 | 入 | 束 | 二 
预防 性 去 | 党 | 对 
风险 分 析 车 | 于 | 从 
测试 原则 1 SS 
尽量 使 用 工具 村 3 


软件 测试 的 目标 、 活动 和 原则 
图 1-1 软件 测试 的 三 个 层面 
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以 上 这 些 定义 体现 了 两 个 方向 : 一 个 是 越 来 越 抽 象 , 即 概念 的 内 涵 越 来 越 小 ,外 延 越 来 
越 大 ,本 书 列 出 的 几 个 定义 中 最 抽象 的 是 定义 7, 根据 这 个 定义 实际 上 人 类 的 很 多 活动 都 属 
于 这 个 定义 范围 ,所 以 外 延 很 大 ; 另外 一 个 方向 是 越 来 越 具体 ,最 具体 的 是 我 们 给 出 的 定义 
8 ,对 软件 测试 的 很 多 方面 都 进行 了 具体 的 规定 ,非常 的 具体 。 这 些 定义 体现 人 们 的 认识 过 
程 和 深度 ,也 适合 不 同 的 读者 口味 ,把 这 些 定义 列 在 这 里 ,可 以 帮助 读者 充分 理解 软件 测试 
的 概念 ,为 以 后 的 学 习 打下 基础 。 


2. 软件 测试 的 性 质 


(1) 存在 性 或 永 不 过 时 性 。 任 何 软件 不 可 能 不 存在 缺陷 ,而 且 无 论 软 件 开发 技术 如 何 
发 展 , 不 可 能 有 一 天 ,因为 高 度 发 达 的 软件 开发 技术 ,在 软件 开发 过 程 中 及 软件 开发 出 来 之 
后 ,软件 不 需要 进行 测试 ,就 可 以 直接 使 用 。 所 以 在 任何 时 候 , 只 要 人 们 还 需要 软件 这 种 产 
品 , 只 要 还 有 软件 开发 ,就 会 需要 软件 测试 ,软件 测试 将 因为 软件 的 存在 而 存在 。 

(2) 不 完全 性 或 抽样 性 。 一 般 情 况 下 ,软件 的 输入 空间 非常 庞大 ,程序 中 可 以 执行 的 路 
径 也 可 能 无 法 穷尽 ,而 且 软 件 的 规格 说 明 有 着 不 同 标准 ,可 能 存在 不 完整 .不 准确 等 问题 ,这 
就 决定 了 软件 测试 是 一 种 不 完全 测试 部 分 测试 或 者 抽样 性 测试 。 

(3) 证 错 不 证 对 性 。 不 完全 的 软件 测试 无 法 证 明 软件 的 正确 性 ,只 能 证 明 软件 的 不 正 
确 性 。 尽 管 软件 测试 是 保证 软件 质量 的 一 个 重要 手段 ,但 它 的 能 力 是 有 限 的 ; 经 过 软件 测 
试 的 软件 不 一 定 就 完全 可 靠 。 

(4) 检 错 保质 性 。 尽 管 软 件 测试 的 定义 可 以 有 多 样 , 且 形式 和 内 容 有 别 , 但 有 一 点 可 以 
确定 : 软件 测试 与 软件 质量 不 可 分 割 ,软件 测试 始终 与 软件 缺陷 的 发 现 过 程 密切 相关 。 

(5) 综合 性 或 多 方 求证 性 。 软 件 测试 是 一 项 技术 性 工作 ,同时 涉及 经 济 学 和 心理 学 的 
一 些 重要 因素 ,甚至 涉及 管理 学 的 很 多 内 容 , 所 以 ,软件 测试 是 一 门 实践 性 很 强 的 综合 学 科 。 

(6) 测试 效果 评判 准则 。 一 个 好 的 测试 用 例 在 于 它 能 发 现 至 今 未 发 现 的 错误 ; 一 个 成 
功 的 测试 是 发 现 了 至 今 未 发 现 的 错误 的 测试 。 


3. 软件 测试 的 相关 概念 


(1) 软件 测试 的 对 象 。 软 件 测试 并 不 等 于 程序 测试 , 它 贯 穿 于 软件 定义 与 开发 的 整个 
过 程 ,包括 需求 分 析 、 概 要 设计 、 详 细 设 计 以 及 编码 等 各 个 阶段 所 得 到 的 文档 ,所 以 需求 规格 
说 明 、 概 要 设计 规格 说 明 \ 详 细 规 格 说 明 以 及 源 程 序 都 是 软件 测试 的 对 象 。 

(2) 测试 用 例 。 为 特定 的 测试 目的 而 设计 ,通常 包括 一 组 测试 输入 、 执 行 条 件 和 预期 的 
结果 ,其 中 预期 结果 除了 预期 输出 ,还 可 以 指定 一 些 其 他 观察 要 求 , 如 各 种 测试 覆盖 率 等 ; 
测试 用 例 是 执行 测试 的 最 小 实体 。 


习题 1.3 


. 综合 本 节 中 给 出 的 关于 软件 测试 的 定义 ,给 出 一 个 比较 完整 的 软件 测试 概念 描述 。 
软件 测试 具有 哪些 特性 ? 

软件 测试 的 对 象 包括 哪些 方面 ? 

. 什么 是 测试 用 例 ? 

.以 一 个 身边 常用 的 具体 软件 为 例 ,如 手机 软件 或 播放 器 软件 ,诠释 本 节 中 提 到 的 几 


an tb 
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个 概念 ,包括 软件 测试 ,测试 对 象 .测试 用 例 以 及 测试 的 若干 特性 。 
人 4 软件 测试 的 目标 


测试 目标 是 软件 测试 追求 的 目的 ,是 软件 测试 活动 存在 的 理由 ,笼统 地 讲 就 是 为 了 度量 
和 提高 软件 质量 。 具 体 来 讲 , 软 件 测试 目标 包括 : 发 现 软件 缺陷 ,特别 是 在 软件 发 布 之 前 发 
现 软件 缺陷 ,从 而 提高 软件 质量 ,树立 人 们 对 软件 质量 的 信心 ,软件 开发 商 才 能 在 激烈 的 市 
场 竞争 中 有 竞争 力 ; 验证 软件 功能 .评测 软件 的 性 能 以 及 提高 软件 可 靠 性 ,验证 软件 已 正确 
实现 了 用 户 的 要 求 等 。 

软件 测试 的 目标 还 可 以 从 验证 和 确认 两 个 方面 来 进行 理解 。 验 证 (Verification) 是 指 
在 软件 生命 周期 的 各 个 阶段 ,用 下 一 阶段 的 产品 来 检查 上 一 阶段 的 规格 定义 。 例 如 ,通过 设 
计 来 验证 需求 定义 的 规格 是 否 正确 ,通过 编码 来 验证 设计 的 合理 性 ,通过 测试 来 验证 编码 的 
正确 性 。 确 认 (Validation) 是 指 在 软件 生命 周期 的 各 个 阶段 ,检查 每 个 阶段 结束 时 的 工作 成 
果 是 否 满足 生命 周期 的 初期 在 需求 文档 中 定义 的 各 项 规格 和 要 求 。 例 如 ,在 软件 设计 完成 
后 ,需要 通过 评审 来 判断 是 否 满足 需求 定义 ; 编码 完成 之 后 ,也 需要 通过 代码 审查 等 方式 来 
检查 是 否 满足 各 项 需求 的 规格 定义 ; 在 测试 阶段 ,通过 评审 测试 用 例 、 测 试 计划 ,测试 文档 、 
测试 报告 ,发现 的 缺陷 等 材料 来 判断 测试 是 否 覆盖 了 各 项 需求 。 

总 之 ,测试 的 目标 就 是 以 最 少 的 时 间 和 人 力 , 系 统 地 找 出 软件 系统 中 潜在 的 各 种 错误 和 
缺陷 。 如 果 成 功 地 实施 了 测试 ,就 能 发 现 软件 中 的 错误 。 

在 测试 过 程 中 ,软件 测试 人 员 的 能 力 是 以 其 能 够 发 现 软件 中 潜在 错误 的 能 力 来 衡量 的 ， 
这 正如 病人 到 医院 看 病 的 例子 。 病 人 到 医院 看 病 , 医 生 应 该 先 做 检查 , 找 出 哪里 有 病 ,然后 
推荐 治疗 措施 。 如 果 这 个 医生 经 常 是 检查 了 半天 ,没有 发 现任 何 问题 ,说 明 这 个 医生 医术 不 
高 。 同 样 , 待 测试 软件 是 一 个 病人 ,测试 人 员 是 医生 ,怎样 才能 找 出 问题 ,这 完全 要 依赖 测试 
人 员 的 修行 。 医 生 能 够 越 老 越 值钱 ,是 因为 他 们 一 直 战 斗 在 救死扶伤 的 第 一 线 ,积累 了 丰富 
的 医疗 经 验 。 同 样 ,如果 测 试 人 员 一 直 坚 持 工 作 在 测试 第 一 线 ,理论 联 系 实际 ,不 断 地 积累 
实践 经 验 ,不 断 地 学 习 和 总 结 , 他 们 应 该 越 来 越 有 价值 。 


习题 1.4 


1. 软件 测试 的 目标 是 什么 ? 
2. 验证 (Verification) 和 确认 (Validation) 的 区 别 和 联系 在 哪里 ? 
3. 作为 软件 测试 的 从 业 人 员 如 何在 日 常生 活 和 工作 中 提高 个 人 能 力 和 水 平 ? 


(5 软件 测试 的 意义 和 重要 性 


从 开发 方 角度 ,软件 测试 可 以 尽早 发 现 和 改正 软件 中 潜在 的 错误 ,不仅 避免 给 用 户 造 成 
可 能 的 损失 ,更 重要 的 是 避免 给 开发 方 的 信誉 造成 不 良 影响 , 即 避 免 最 终 给 开发 方 自己 造成 
直接 和 间接 的 损失 。 

对 于 用 户 来 说 ,适当 的 测试 是 用 户 对 是 否 接受 软件 系统 的 依据 ,用 户 通过 亲自 的 测试 或 
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者 委托 第 三 方 测试 的 结果 来 对 软件 系统 的 质量 作出 判断 ,并 最 后 作出 选择 。 
近年 来 ,软件 缺陷 给 人 们 造成 重大 损失 的 例子 数不胜数 , 表 1-1 简要 地 列 出 了 一 些 影响 
比较 大 的 事件 ,关于 事件 的 完整 故事 , 感 兴趣 的 读者 可 以 查阅 有 关 软 件 测试 教材 和 资料 。 


表 1-1 典型 的 因为 软件 缺陷 造成 重要 损失 的 案例 


事 件 名 时 间 原 因 后 果 
1 ”狮子 王 游戏 事件 1995 ”缺乏 充分 的 配置 测试 客户 无 法 使 用 ,退货 损失 
2 ”英特尔 奔腾 芯片 缺陷 1994 ” 浮 点 数 除法 算法 缺陷 支付 4 亿美 元 更 换 芯 片 
3 ”放射 性 设备 医疗 事故 1985 ”软件 设计 存在 缺陷 多 人 因 超 剂量 辐射 死亡 
4 ”Norton“ 误 杀 门 ” 2007 ”将 系统 文件 定义 为 病毒 超过 百 万 台电 脑瘫 痪 
5 ”NASA 火星 登录 器 1999 ”集成 测试 不 充分 登录 器 丢失 
6 ”爱国 者 导弹 事故 1991 计时 器 误差 误杀 28 名 美国 土 兵 
7 千年 虫 问 题 2000 ”节省 内 存 ,时 间 表 示 的 缩写 全 球 损失 几 千 亿美 元 
8 ”Windows 2000 安全 漏洞 ”2000 ”操作 系统 远程 服务 软件 存在 安 “ 拒绝 服务 、 权 限 滥用 信息 
全 漏洞 泄露 
9 ” 阿 丽 亚 那 火箭 爆炸 1996 ”惯性 导航 系统 软件 故障 9 年 的 航天 技术 受 重 挫 
10 “冲击波 ” 计 算 机 病毒 2003 ”微软 Messenger Service 缺陷 被 ”成 千 上 万 台 基于 Windows 
攻破 的 计算 机 崩溃 
11 ”北京 奥运 会 售票 事件 2007 ”大 量 访 问 造 成 网 络 拥堵 无 法 售票 
12 ”F-16 战机 失事 2007 ”导航 软件 失灵 飞机 失事 
13 ”美国 及 加 拿 大 停电 2003 ”电力 管理 系统 故障 大 规模 停电 
14 ”金星 探测 器 飞行 失败 1963 ”程序 语句 中 缺少 一 个 逗号 损失 1000 多 万 美元 
15 ”新 西 兰 客机 撞 山 1979 ”飞行 软件 故障 257 名 乘客 全 部 遇难 
16 ”伦敦 救护 中 心 瘫痪 1992 ”计算 机 系统 故障 整个 机 构 无 法 工作 
17 “北京 机 场 瘫痪 (经 常 ) 2005 ”软件 系统 故障 飞机 无 法 起 飞 ,旅客 滞 留 
18 ”银行 系统 故障 (经 常 ) 2006 ”软件 系统 故障 无 法 工作 
19 ”校园 网 竣 疾 (经 常 ) 2000 ”软件 系统 故障 无 法 工作 
20 ”金山 词霸 出 现 的 错误 2003 ”系统 安装 问题 无 法 取 词 ,无 法 解释 
习题 1.5 
1. 软件 测试 具有 什么 重要 的 意义 ? 


2. 请 举 几 个 读者 身边 或 了 解 的 案例 ,说 明 软 件 故障 给 人 们 带 来 的 危害 和 损失 。 


(6 软件 测试 的 20 条 原则 


(1) 软件 测试 应 追溯 到 用 户 需 求 。 软 件 开发 的 最 终 目 的 是 要 满足 最 终 用 户 的 需求 ， 
图 1-2 分 析 了 软件 缺陷 从 原始 需求 开始 ,经 历 需求 分 析 、` 设 计 和 编码 阶段 逐步 形成 的 过 程 ， 
从 该 图 可 知 ,要 完成 对 待 测试 软件 有 效 的 测试 ,测试 人 员 要 紧 紧 围绕 用 户 需 求 ,站 在 用 户 角 
度 看 问题 ,系统 中 最 严重 的 错误 是 那些 导致 无 法 满足 用 户 需 求 的 缺陷 。 用 户 是 软件 的 使 用 
者 和 投资 者 ,不 满足 用 户 需 求 的 软件 是 无 法 顺利 交付 和 收回 成 本 的 。 

(2) 软件 测试 应 该 尽早 开始 ,不 断 进行 。 由 于 软件 的 复杂 性 和 抽象 性 ,以 及 涉及 项 目 人 
员 之 间 沟 通 不 畅 等 原因 ,导致 在 软件 生命 周期 的 各 个 阶段 都 可 能 产生 缺陷 (如 图 1-2 所 示 ) 。 
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软件 错误 发 现 得 越 早 ,修改 错误 的 成 本 就 越 低 ,所 以 测试 要 从 需求 分 析 和 设计 就 开始 ,在 软 
件 开发 的 每 个 环节 都 要 不 断 地 进行 测试 , 才 有 可 能 使 错误 不 被 遗漏 。 极 限 编程 (XP) 和 测试 
驱动 的 开发 (TDD) 将 “尽早 开始 ,不 断 进 行 " 用 到 极致 ,它们 强调 测试 先行 ,在 编码 开始 之 前 
就 开始 撰写 测试 ,用 测试 指导 代码 的 撰写 。 目 前 XP 和 TDD 正 受 到 越 来 越 多 人 的 关注 。 


bi 
需求 分 析 | 正确 的 需求 规格 说 明 | 错误 的 需求 规格 说 明 | 


设计 正确 的 设计 


[~ 


编码 。 | 正确 的 编码 | 错误 的 编码 


测试 正确 的 功能 ”| 可 修复 的 缺陷 


不 完善 的 软件 产品 


图 1-2 软件 缺陷 形成 过 程 示 意图 


(3) 穷尽 测试 是 不 可 能 的 ,测试 要 有 停止 准则 ,适可而止 。 完 美的 情况 下 ,通过 在 有 限 
的 时 间 和 资源 条 件 下 ,穷尽 运行 软件 ,发 现 所 有 问题 。 但 实际 上 是 不 可 能 的 ,这 可 以 从 软件 
的 基本 要 素 一 一 输入 、 输 出 ,数据 处 理 和 计算 等 方面 来 分 析 。 因 为 程序 输入 一 般 都 非常 大 ， 
无 法 计数 ,输出 也 很 复杂 ,有 时 甚至 超过 输入 的 复杂 度 。 数 据 处 理 和 计算 的 复杂 程度 也 越 来 
越 高 ,导致 路 径 组 合 近 似 天 文 数字 。 因 此 ,只 能 通过 多 种 测试 方式 ,在 有 限 资源 下 , 尽 可 能 多 
地 发 现 缺陷 。 测 试 停止 准则 有 很 多 ,大 致 可 以 分 为 5 类 : @ 测 试 超 过 了 预定 时 间 , 则 停止 测 
试 ; @ 执 行 了 所 有 的 测试 用 例 , 但 并 没有 发 现 故 障 , 则 停止 测试 ; @@ 使 用 特定 的 测试 用 例 设 
计 方案 作为 判断 测试 停止 的 基础 ,例如 代码 覆盖 .路径 覆 盖 等 各 种 覆盖 率 等 ; @ 正 面 指出 停 
止 测试 的 具体 要 求 , 即 停止 测试 的 标准 可 定义 为 查 出 某 一 预订 数目 的 故障 ; @ 根 据 单位 时 
间 内 查 出 故障 的 数量 决定 是 否 停止 测试 。Good Enough 原则 指出 : 测试 的 投入 与 产 出 要 适 
当权 衡 ,测试 进行 的 不 充分 是 对 质量 不 负责 任 的 表现 ,但 是 投入 过 多 的 测试 , 则 是 资源 浪费 
的 表现 。 

(4) 一 个 测试 用 例 除 了 要 对 软件 的 输入 数据 进行 详细 描述 ,还 要 给 出 预期 输出 结果 。 
否则 ,在 测试 过 程 中 , 极 有 可 能 因为 无 法 与 预期 输出 进行 比 对 ,而 使 应 该 发 现 的 错误 从 眼皮 
底下 溜 走 ,降低 测试 效果 。 

(5) 程序 员 应 该 避免 测试 自己 的 程序 ,软件 测试 应 该 具有 一 定 的 独立 性 。 待 测试 程序 
就 好 像 程 序 员 自 己 生 的 孩子 ,怎么 看 怎么 顺眼 ,客观 上 ,程序 员 很 难 跳出 自己 的 思维 习惯 ,对 
自己 编写 的 程序 做 科学 的 测试 。 软 件 测试 应 该 是 “破坏 性 的 ”, 以 “找茬 ”为 目的 的 ,独立 的 软 
件 测试 才 有 可 能 发 现 意外 的 错误 。 而 且 软 件 测试 中 存在 一 种 “同化 效应 ”, 即 一 名 测试 人 员 
在 同一 个 项 目 待 的 时 间 越 久 , 越 可 能 忽略 一 些 明 显 的 问题 ,例如 对 于 界面 操作 ,由 于 测试 人 
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员 重 复 使 用 一 个 软件 而 产生 熟悉 感 , 因 此 可 能 会 忽视 一 些 易 用 性 问题 和 用 户 体验 问题 。 同 
时 测试 人 员 与 开发 人 员 在 一 起 工作 时 间 较 长 之 后 ,容易 被 同化 。 同 化 效应 会 使 Bug 具有 免 
疫 效果 ,因此 ,测试 过 程 中 还 需要 通过 轮换 或 补充 新 测试 人 员 来 避免 同化 效应 。 

(6) 应 该 彻底 检查 每 个 测试 的 结果 。 每 个 测试 用 例 一 般 都 是 经 过 精心 设计 产生 的 , 承 
担 一 定 的 检测 任务 。 由 于 测试 执行 结果 可 以 形式 多 样 ,如 界面 的 显示 、 数 据 文件 以 及 性 能 测 
试 中 关注 的 软件 执行 时 间 等 ,不 同形 式 的 结果 对 于 判断 测试 是 否 通过 具有 不 同 程度 的 影响 。 
而 且 软 件 的 预期 输出 描述 可 能 不 是 很 准确 ,这 就 更 需要 认真 检查 每 个 测试 结果 。 

(7) 测试 用 例 的 编写 不 仅 应 该 包括 有 效 ( 合 法 ) 和 预料 到 的 输入 情况 ,还 要 考虑 无 效 ( 非 
法 ) 和 未 预料 的 输入 情况 。 程 序 员 往 往 基于 预料 之 中 的 合法 输入 编写 程序 进行 处 理 , 可 能 忽 
视 对 一 些 非法 输入 或 意料 之 外 的 输入 的 处 理 , 从 而 使 程序 留 下 隐患 。 

(8) 不 仅 要 检查 程序 是 否 “ 做 了 它 应 该 做 的 ”而 且 要 检查 程序 是 否 “ 做 了 它 不 应 该 做 
的 ”。 程 序 只 能 做 被 规定 的 那些 工作 ,任何 多 余 的 功能 都 应 视 为 安全 隐患 。 全 面 的 测试 包 
括 : 验证 程序 是 否 做 了 应 该 做 的 事情 ,以 确保 软件 的 可 靠 性 ; 验证 程序 是 否 没 有 做 不 应 该 
做 的 事情 ,以 确保 软件 的 安全 性 。 

(9) 测试 用 例 要 进行 管理 和 保存 ,切忌 用 后 即 弃 , 要 重视 测试 过 程 的 记录 并 保存 相关 文 
档 。 除 了 一 次 性 软件 ,几乎 所 有 的 软件 测试 都 不 可 能 一 次 性 完成 ,在 软件 生命 周期 中 一 般 都 
要 经 过 测试 ,修改 、 再 测试 .再 修改 等 多 次 反复 。 原 先 的 测试 用 例 可 以 为 再 测试 的 选择 性 复 
用 、 生 成 新 测试 用 例 和 测试 分 析 等 提供 非常 好 的 依据 和 基础 ,避免 重复 劳动 ,特别 是 在 回归 
测试 中 ,要 使 用 原 有 的 测试 用 例 检查 修改 是 否 引 入 新 的 错误 。 

(10) 程序 中 的 错误 存在 “群集 现象 "。 程 序 中 如 果 某 处 发 现 错误 ,在 该 处 和 周围 还 可 能 
存在 错误 ,有 人 甚至 认为 :“ 程 序 中 某 部 分 存在 错误 的 可 能 性 ,与 该 处 已 发 现 错误 的 数量 成 
正比 ”。 人 们 也 用 “冰山 原理 ”和 “二 八 原理 ”来 定性 程序 中 错误 的 分 布 。 所 谓 “ 冰 山 原 理 ”, 就 
是 两 座 冰山 ,露出 水 面部 分 大 的 那 一 座 , 其 水 下 部 分 必然 也 较 大 。“ 冰 山 原理 ”与 潜在 错误 与 
已 发 现 错误 成 正比 关系 的 表述 相 一 致 。 所 谓 “ 二 八 原 理 ”, 来 自 社会 学 观点 "20% 的 富 人 ,党 
握 了 80% 的 社会 财富 ,其 他 80% 的 人 只 占有 20% 的 社会 财富 ”, 在 软件 工程 中 该 原理 也 多 
次 被 证 明 是 成 立 的 ,例如 “20% 的 代码 ,包含 了 软件 中 80% 的 缺陷 ”“20% 的 缺陷 ,消耗 了 
80% 的 软件 修改 维护 费 *"。“ 二 八 原 理 ” 与 软件 错误 的 “群集 现象 ”的 表述 相似 。 

(11) 选择 一 组 合适 的 测试 方法 。 软 件 系 统 的 不 同 部 分 具有 不 同 的 特点 和 不 同 的 重要 
程度 ,需要 不 同 的 测试 方法 才能 充分 的 有 针对 性 的 测试 ,因此 ,在 测试 过 程 中 选择 合适 的 测 
试 方法 也 非常 重要 。 

(12) 测试 应 该 认真 做 好 测试 计划 ,使 用 测试 清单 。 测 试 计划 和 清单 列 出 所 有 需要 测试 
的 对 象 、 场 景 和 条 件 列表 ,提供 了 一 种 确定 测试 覆盖 率 的 方法 ,并 可 以 作为 软件 测试 质量 和 
软件 质量 的 依据 。 测 试 过 程 中 ,切忌 测试 的 随意 性 。 

(13) 恰当 使 用 测试 工具 。 工 具 可 以 延伸 人 的 能 力 , 很 多 测试 工作 ,如 测试 数据 生成 , 测 
试 结 果 的 比 对 ,如 果 手 工 完成 , 既 很 累 人 又 容易 出 错 。 测 试 工 具 的 正确 使 用 不 仅 能 够 有 效 提 
高 测试 效率 ,而 且 也 可 以 提高 正确 率 ,使 测试 人 员 有 更 多 精力 从 事 创造 性 测试 工作 。 

(14) 不 断 进 行 培 训 。 测 试 作为 一 门 学 科 , 和 其 他 学 科 一 样 , 有 着 一 套 知识 体系 和 特定 
的 技能 要 求 。 另 外 ,根据 一 些 测试 人 员 执 行 的 测试 类 型 ,甚至 还 需要 特殊 的 或 先进 的 知识 和 
技能 。 测 试 人 员 只 有 不 断 地 进行 培训 或 自我 培训 ,才能 适应 测试 工作 中 新 的 挑战 。 
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(15) 进行 软件 风险 分 析 , 做 有 重点 的 测试 。 由 于 不 可 能 进行 穷尽 测试 , 某 种 意义 上 , 测 
试 了 什么 比 测试 了 多 少 更 重要 。 软 件 风险 分 析 可 以 对 测试 对 象 进行 优先 级 排序 ,这 样 合理 
分 配 测试 资源 ,集中 精力 对 软件 系统 中 关键 的 部 分 进行 充分 测试 。 

(16) 度量 测试 有 效 性 ,对 出 错 结果 进行 统计 和 分 析 。 使 用 科学 的 度量 可 以 使 测试 工作 
更 加 科学 ,例如 ,对 各 种 测试 方法 有 效 性 的 度量 ,可 以 帮助 人 们 选择 有 效 的 测试 方法 ; 对 于 
测试 人 员 测 试 效果 的 度量 ,可 以 帮助 人 们 判断 哪些 测试 人 员 更 有 工作 潜力 。 同 时 应 对 测试 
过 程 中 找到 的 所 有 缺陷 进行 定性 分 析 和 预测 ,以 决定 是 否 进入 下 一 个 测试 阶段 。 

(17) 分 析 缺 陷 趋 势 和 模式 。 缺 陷 之 间 往 往 存在 一 些 相互 关联 和 依赖 关系 ,通过 分 析 测 
试 人 员 发 现 的 缺陷 的 趋势 模式、 类型, 来源, 严重 程度 和 潜伏 期 等 ,可 以 进一步 发 觉 一 些 新 
的 问题 ,从 中 找到 需要 改进 地 方 。 

(18) 增 量 和 分 级 测试 。 测 试 范围 应 从 小 规模 开始 ,逐步 转向 大 规模 的 增 量 和 分 级 的 测 
试 。 所 谓 小 规模 是 指 测试 的 粒度 ,如 某 种 程度 的 单元 测试 ,进一步 的 测试 从 单个 单元 测试 逐 
步 过 渡 到 多 个 单元 的 组 合 测试 , 即 集成 测试 ,最 终 过 渡 到 系统 测试 。 

(19) 软件 测试 是 一 项 极 富 创造 性 、 极 具 智 力 挑战 性 的 工作 。 不 仅 测试 一 个 大 型 软件 所 
需要 的 创造 性 很 可 能 超过 了 开发 该 软件 所 需要 的 创造 性 ,而 且 要 充分 测试 一 个 软件 以 确保 
所 有 错误 都 不 存在 是 不 可 能 的 ,因此 ,这 就 给 软件 测试 的 从 业 人 员 留 下 了 开阔 的 创造 性 空 
间 , 并 使 软件 测试 成 为 一 门 职业 成 为 可 能 。 

(20) 软件 测试 是 一 种 服务 。 软 件 测试 人 员 通 过 对 软件 产品 进行 研究 和 探索 ,获取 有 关 
软件 的 信息 , 供 项 目 决策 者 作出 正确 的 决定 。 特 别 是 敏捷 开发 中 ,软件 测试 指引 着 团队 的 工 
作 。 把 软件 测试 理解 成 一 种 服务 可 以 化 解 测试 人 员 和 开发 人 员 之 间 的 矛盾 ,从 而 有 利于 客 
观 公 正 地 进行 测试 工作 。 


习题 1.6 


1. 在 本 节 所 列 出 的 20 条 原则 中 ,请 给 出 读者 认为 的 软件 测试 应 该 遵循 的 最 重要 的 几 
条 原则 ,简要 说 明理 由 。 

2. 除了 本 节 中 提 到 的 20 条 原则 ,读者 认为 软件 测试 还 应 遵循 哪些 原则 ? 例如 ,软件 测 
试 应 该 是 动态 自 适应 的 , 即 软件 测试 应 该 能 够 随 着 测试 过 程 进行 动态 和 适应 性 调整 。 


(7 软件 测试 的 分 类 


本 节 主 要 介绍 软件 测试 的 分 类 以 及 分 类 后 分 别 有 哪 些 测试 方法 。 软 件 测试 课程 最 重要 
的 知识 体 就 集中 在 各 种 测试 方法 上 ,这 门 课程 的 后 续 部 分 就 是 围绕 软件 测试 的 分 类 ,介绍 各 
类 软件 测试 方法 的 工具 和 管理 等 。 

(1) 软件 测试 根据 是 否 运行 程序 可 分 为 静态 测试 和 动态 测试 ,静态 测试 包括 桌面 检查 、 
代码 审查 和 代码 走 查 等 方法 。 动 态 测试 根据 测试 用 例 设 计 是 否 依据 内 部 结构 可 以 分 为 黑 盒 
测试 和 白 盒 测试 , 白 盒 测试 包括 语句 覆盖 、 判 定 覆 盖 、 条 件 覆 盖 、 判 定 /条 件 覆 盖 、 条 件 组 合 覆 
盖 .路径 覆 盖 、 线 性 代码 序列 及 跳 转 测试 等 ; 黑 盒 测 试 包 括 等 价 类 划分 ,边界 值 分 析 、 因 果 图 
分 析 、 错 误 猜 测 、 状 态 转换 测试 等 。 
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(2) 根据 软件 开发 的 不 同 阶段 可 以 将 软件 测试 划分 为 单元 测试 .集成 测试 .系统 测试 、 
验收 测试 .回归 测试 ,验证 测试 .确认 测试 .测试 .8 测试 和 7Yy 测试 等 。 

(3) 根据 被 测试 软件 的 开发 方法 和 应 用 环境 的 不 同 可 以 分 为 面向 对 象 软件 测试 、 面 向 
方面 软件 测试 .面向 服务 软件 测试 .构件 软件 测试 .嵌入 式 软件 测试 .Web 应 用 软件 测试 等 ， 
后 面 还 要 出 现 普 适 计算 环境 下 的 软件 测试 、 云 计算 环境 下 的 软件 测试 等 。 

(4) 根据 软件 不 同 特性 和 方面 测试 可 以 分 为 : 负载 测试 .压力 测试 .性 能 测试 .安全 性 
测试 .安装 测试 .可 用 性 测试 .稳定 性 测试 .授权 测试 ,用户 接受 性 测试 .一 致 性 测试 .配置 测 
试 . 文 档 测 试 . 兼 容 性 测试 和 试 玩 测 试 (Playtest) 等 。 

(5) 根据 不 同 特殊 的 测试 技术 可 以 有 : 组 合 测试 、. 晓 变 测试 .变异 测试 .演化 测试 .模糊 
(FUZZ) 测 试 . 基 于 性 质 的 测试 .基于 故障 的 测试 .基于 模型 的 测试 .基于 操作 剖面 的 测试 、 
基于 用 例 和 /或 用 户 陈 述 开发 测试 用 例 . 基 于 规格 说 明 的 测试 .统计 测试 .逻辑 测试 ,随机 测 
试 . 自 适应 随机 测试 .GUICGraphical User Interface, 图 形 用 户 界面 ) 测 试 、 冒 烟 测试 和 探索 
测试 等 。 


习题 1.7 


1. 软件 测试 方法 可 以 有 几 种 分 类 方法 ? 

2. 根据 本 节 分 类 方法 ,面向 软件 新 技术 的 测试 方法 和 面向 新 型 运行 平台 的 软件 测试 方 
法 属于 哪 一 类 方法 ? 

3. 软件 测试 方法 与 其 他 产品 测试 方法 有 哪些 区 别 和 联系 ? 


(8 软件 测试 的 过 程 及 策略 模型 


人 们 在 软件 开发 实践 中 总 结 出 许多 开发 模型 ,如 瀑布 模型 .快速 原型 法 、 螺 旋 模型 等 , 软 
件 测试 是 其 中 的 一 个 重要 组 成 部 分 。 随 着 人 们 对 测试 的 重视 程度 与 日 俱 增 , 人 们 认识 到 以 
往 的 开发 模型 都 未 强调 测试 的 作用 ,不 能 充分 指导 测试 实践 。 软 件 测试 与 软件 开发 一 样 , 包 
含 一 系列 有 计划 的 系统 性 活动 ,其 流程 和 方法 也 应 有 相应 模型 的 指导 。 人 们 在 软件 测试 活 
动 的 实践 中 总 结 出 了 一 些 很 好 的 测试 过 程 模型 ,这些 模型 对 测试 活动 进行 抽象 ,并 与 开发 活 
动 有 机 结合 ,可 有 效 提高 测试 过 程 的 质量 ,提高 测试 结果 的 有 效 性 和 准确 性 。 下 面 将 分 别 介 
绍 软件 测试 基本 过 程 、 在 各 种 开发 模型 中 的 位 置 和 人 们 提出 的 一 些 新 的 测试 过 程 策略 模型 。 


1. 软件 测试 基本 信息 流 模 型 
软件 测试 基本 信息 流 模型 如 图 1-3 所 示 。 


回归 测试 
软件 配置 

| wx | 修 下 的 软件 
测试 配置 =| 测试 | 后 全 [结果 分 析 | 什 次 [ 故 直 错误 | 测试 结果 
TH 
测试 工具 预期 结果 。 [ 宇 性 分 析 据 酒 的 可 第 


1-3 ”软件 测试 基本 信息 流 模型 
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(1) 软件 配置 。 是 指 测试 对 象 , 它 包括 软件 需求 规格 说 明 、 软 件 设 计 说 明和 被 测试 的 源 
程序 清单 。 

(2) 测试 配置 。 包 括 测试 计划 、 测 试用 例 、 测 试 驱 动 程序 ,实际 上 ,在 整个 软件 工程 中 ， 
测试 配置 只 是 软件 配置 的 一 个 子 集 。 

(3) 测试 工具 。 为 提高 软件 测试 效率 ,可 使 用 测试 工具 支持 测试 。 其 作用 就 是 为 测试 
的 实施 提供 某 种 服务 ,以 减轻 人 们 完成 测试 任务 中 的 手工 劳动 。 例 如 ,测试 数据 自动 生成 程 
序 静态 分 析 程 序 、 动 态 分 析 程 序 、 测 试 结果 分 析 程 序 以 及 驱动 测试 的 数据 库 等 。 


2. 软件 测试 在 开发 模型 中 的 位 置 


(1) 在 瀑布 模型 中 的 软件 测试 。 传 统 的 瀑布 模型 是 将 软件 生命 周期 的 各 项 活动 规定 为 
按照 固定 顺序 相连 的 若干 个 阶段 性 工作 , 形 如 瀑布 流水 ,最 终 得 到 软件 产品 。 优 点 包括 : 易 
于 理解 ; 调研 开发 的 阶段 性 ; 强调 早期 计划 及 需求 调查 ; 确定 何 时 能 够 交付 产品 及 何 时 进 
行 评审 与 测试 。 缺 点 包括 : 需求 调查 分 析 只 进行 一 次 ,不 能 适应 需求 变化 ; 顺序 的 开发 流 
程 ,使 得 开发 中 的 经 验 教训 不 能 反馈 到 该 项 目的 开发 中 去 ; 不 能 反映 出 软件 开发 过 程 的 反 
复 与 迭代 性 ; 没有 包含 任何 类 型 的 风险 评估 ; 开发 中 出 现 的 问题 直到 开发 后 期 才能 够 显 
露 , 因 此 失去 及 早 纠 正 的 机 会 。 改 进 的 瀑布 开发 模型 如 图 1-4 所 示 ,人们 在 每 一 步 中 增加 了 
向 前 回溯 和 修正 的 步骤 。 


f 问题 定义 /人 
定义 阶段 V7 u 
| 和 | 分 析 研 究 


开发 阶段 软件 设计 
编 双 ” 
三 
| Ca 测试 
维护 阶段 维护 


图 1-4 瀑布 开发 模型 


(2) 在 快速 原型 模型 中 的 软件 测试 。 根 据 客户 需求 在 较 短 的 时 间 内 解决 用 户 最 迫切 解 
决 的 问题 ,完成 可 演示 的 产品 。 这 个 产品 只 实 
现 最 重要 功能 ,在 得 到 用 户 的 更 加 明确 的 需求 
之 后 ,原型 将 丢弃 。 在 该 软件 开发 模型 中 ,软件 
测试 没有 明确 位 置 ,只 能 理解 为 隐 含 在 原型 开 
发 .原型 评价 和 系统 实现 当中 。 快 速 原型 开发 
模式 如 图 1-5 所 示 。 

(3) 在 螺旋 开发 模型 中 的 软件 测试 。 螺 旋 
模型 将 瀑布 模型 与 快速 原型 模型 相 结合 ,并 加 
入 风险 评估 所 建立 的 软件 开发 模式 。 主 要 思想 图 1-5 快速 原型 开发 模型 


最 终 设 t 


12 


vt 


软件 测试 的 概念 与 方法 


是 在 开始 时 不 必 详 细 定 义 所 有 细节 ,而 是 从 小 开始 ,定义 重要 功能 ,尽量 实现 ,接受 客户 反 
馈 ,进入 下 一 阶段 ,并 重复 上 述 过 程 ,直到 获得 最 终 产品 。 每 一 螺旋 (开发 阶段 ) 包 括 5 个 步 
又 : 确定 目标 ,选择 方案 和 限制 条 件 ; @ 对 方案 风险 进行 评估 ,并 能 解决 风险 ; 加 进行 本 
阶段 的 开发 和 测试 ; @ 计 划 下 一 阶段 ; @ 确 定 进入 下 阶段 的 方法 。 优 点 包括 : 严格 的 全 过 
程 风 险 管理 ; 强调 各 开发 阶段 的 质量 ; 提供 机 会 评估 项 目 是 否 有 价值 继续 下 去 。 螺 旋 开发 
模型 如 图 1-6 所 示 。 


累计 成 本 


制定 计划 风险 分 析 


风险 分 析 
风险 分 析 


提交 线 


型 3 
原型 2 a 


可 运行 
原型 


需求 计划 


软件 /软件 


详细 设计 
编码 


需求 /产品 设计 


集成 与 测试 
评估 方案 


验收 测试 


图 1-6 螺旋 开发 模型 


3. 软件 测试 过 程 及 策略 模型 
(1) V 模型 。V 模型 如 图 1-7 所 示 。 


1-7 V 模型 示意 图 


1980 年 后 期 ,Paul Rook 在 软件 开发 的 瀑布 模型 的 基础 上 提出 软件 测试 V 模型 , 旨 在 
改进 软件 开发 与 测试 的 效率 和 质量 。 图 中 箭头 代表 时 间 方 向 , 左 半 部 分 描述 基本 的 开发 
过 程 , 开 发 从 上 到 下 ,严格 地 分 为 不 同 的 开发 阶段 ; 右 半 部 分 描述 了 与 开发 相对 应 的 测试 
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过 程 , 自 下 而 上 ,也 严格 分 为 不 同 阶段 和 级 别 ,测试 活动 的 展开 次 序 正好 与 开发 的 次 序 相 
反 , 且 动态 的 测试 行为 与 开发 行为 相对 应 ,每 个 测试 阶段 的 基础 是 对 应 开发 阶段 的 提交 
文档 。 

V 模型 测试 策略 的 底层 测试 可 以 保证 源 代码 的 正确 性 ,高 层 测试 保证 整个 系统 满足 用 
户 需求 。 它 的 不 足 是 : 该 模型 将 测试 置 为 编码 之 后 的 一 个 阶段 ,未 能 体现 “尽早 测试 ,不 断 
测试 ”的 原则 。 在 实际 情况 下 ,各 级 测试 与 开发 各 个 阶段 的 文档 很 难 有 完美 的 一 对 一 关系 ， 
例如 ,需求 分 析 的 文档 往往 不 足以 为 系统 测试 提供 足够 的 信息 ,经 常 需要 借助 概要 设计 和 详 
细 设 计 文 档 中 的 部 分 内 容 。 在 V 模型 中 缺少 需求 评审 、 代 码 审 查 等 静态 测试 内 容 。 而 且 测 
试 时 间 往 往 因 前 期 开发 进度 的 拖延 而 被 挤占 ,甚至 取消 部 分 测试 ,导致 测试 不 充分 ,大 大 降 
低 测试 质量 。 

(2) W 模型 。 为 解决 V 模型 的 不 足 , 贯 彻 * 尽 早 测试 ,不 断 测试 "的 原则 并 体现 静态 测 
试 ,Paul Herzlich 提出 了 W 模型 , 即 开发 过 程 是 一 个 V ,伴随 的 测试 过 程 是 男 一 个 V, 是 并 
行 关 系 ,如 图 1-8 所 示 ,每 个 开发 行为 对 应 一 个 测试 行为 ,例如 ,开发 行为 是 各 种 需求 定义 和 
编码 , 则 对 应 的 测试 行为 是 对 这 些 文档 的 静态 测试 ,开发 行为 对 应 的 是 软件 实现 , 则 对 应 的 
测试 行为 是 对 这 些 实现 的 动态 测试 。 


用 户 需求 验证 和 确认 
验收 测试 设计 


需求 验证 和 确认 
系统 测试 设计 


详细 设计 验证 与 确认 
单元 测试 设计 


图 1-8 VW 模型 示意 图 


W 模型 的 不 足 是 将 软件 开发 和 测试 都 看 成 是 串 行 的 活动 ,保持 着 线性 关系 ,无 法 支持 
迁 代 的 开发 模型 ,不 支持 变更 的 调整 ,未 体现 测试 流程 的 完整 性 。 

(3) HH 模型 。 为 克服 V 模型 和 W 模型 均 将 开发 和 测试 看 成 串 行 活动 ,无 法 体现 完整 
测试 流程 的 缺陷 ,人 们 提出 HH 模型 , H 模型 将 测试 活动 完全 独立 出 来 ,形成 完全 独立 的 流 
程 , 该 流程 分 为 两 个 阶段 : 测试 准备 阶段 (包括 测试 计划 、 测 试 设计 和 测试 开发 ) ,测试 执行 
阶段 (包括 测试 执行 和 测试 评估 ) 。 

图 1-9 描述 的 软件 测试 流程 H 模型 说 明了 软件 开发 某 个 阶段 对 应 的 测试 活动 ,其 他 流 
程 可 以 是 任意 的 开发 流程 ,如 设计 、 编 码 等 ,也 可 以 是 非 开 发 流程 ,如 质量 保证 等 ,因此 只 要 
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测试 条 件 成 熟 ,准备 工作 就 绪 ,就 可 以 展开 测试 执行 活动 。 在 软件 生命 周期 中 的 各 个 阶段 都 
有 这 样 独立 的 测试 流程 ,如 单元 测试 、 集 成 测试 等 ,这 些 流 程 与 其 他 流程 是 独立 的 。H 模型 
体现 了 测试 流程 的 独立 性 ,完整 性 和 过 程 管 理 的 重要 性 ,体现 了 “尽早 测试 和 不 断 测试 ”的 
原则 。 


测试 准备 测 这 就 结 点 测试 执行 


一 测试 流程 


人 一 其 他 流程 
图 1-9 HH 模型 示意 图 


(4) X 模型 。Marick 认为 V 模型 无 法 引导 项 目的 整个 过 程 , 从 另外 一 个 角度 提出 X 模 
型 弥补 V 模型 的 缺陷 (W 模型 从 开发 与 测试 的 对 应 的 角度 进行 改进 ) 。 图 1-10 给 出 了 X 模 
型 的 示意 图 , 左 半 部 分 是 针对 单独 程序 片段 进行 的 相互 分 离 的 编码 和 测试 ,经 过 多 次 交接 ， 
集成 为 可 以 执行 的 程序 (右上 半 部 分 )。 这 些 可 执行 的 程序 需要 进行 测试 ,已 通过 集成 测试 
的 成 品 可 封 版 提交 给 用 户 ,或 者 作为 更 大 规模 内 集成 的 一 部 分 。 


机 封 版 
测试 设计 执行 测试 
工具 配置 J 
执行 测试 1 工具 配置 
编码 完成 Ai 集成 1]… 和 2 
执行 测试 2 
工具 配置 、 探索 性 测试 
测试 设计 os 
?执行 测试 


图 1-10 X 模型 示意 图 


特别 指出 的 是 ,X 模型 提出 了 探索 性 测试 , 即 无 事先 计划 ,只 是 随便 测试 一 下 ,这样 有 助 
于 有 经 验 的 测试 人 员 在 计划 外 发 现 更 多 软件 缺陷 。 

(5) 测试 成 熟 度 模型 。1996 年 ,人 们 参照 CMM 开发 了 软件 测试 成 熟 度 模型 TMM, 它 
包括 5 个 等 级 ,每 个 等 级 列 出 了 一 系列 建议 做 法 ,企业 可 通过 这 些 等 级 来 评价 自身 的 测试 能 
力 ,以 便 进一步 改进 软件 测试 过 程 ,促使 软件 测试 向 更 强 的 专业 化 方向 发 展 。 


习题 1.8 


1. 简单 描述 软件 测试 的 信息 流 模型 ,指出 在 该 模型 中 最 关键 的 因素 是 什么 ? 
2. 软件 开发 有 哪些 模型 ,软件 测试 分 别处 于 什么 位 置 ? 
3. 软件 测试 过 程 有 哪些 模型 ? 这 些 模型 各 有 什么 特点 ? 
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(8 软件 测试 的 职业 


几乎 所 有 的 职业 都 有 一 定 的 门槛 ,所 谓 门槛 ,就 是 其 特殊 的 职业 技能 和 基本 素养 ,一 个 
职业 的 重要 程度 不 仅 取决 于 社会 需求 ,也 取决 于 门槛 的 高 低 。 例 如 ,飞行 员 是 一 个 非常 重要 
的 职业 ,过 硬 的 身体 和 心理 素质 以 及 熟练 的 飞行 驾驶 技能 要 求 形成 了 很 高 的 职业 门槛 ,使 得 
能 够 从 事 这 个 职业 的 人 员 很 少 ,培养 一 个 成 熟 的 飞行 员 的 成 本 是 非常 昂贵 的 。 

软件 测试 从 业 人 员 不 仅 需 要 系统 地 掌握 软件 测试 的 基本 知识 ,还 要 在 实践 中 不 断 摸索 ， 
将 理论 联系 实际 ,善于 不 断 尝试 新 的 测试 方法 和 测试 工具 ,测试 新 软件 ,探索 新 问题 ,积累 新 
经 验 。 软 件 测试 既是 一 门 科学 ,也 是 一 门 艺术 ,测试 员 丰 富 的 经 验 和 敏锐 的 洞察 力 往往 是 成 
功 的 关键 。 一 个 测试 人 员 ,如 果 他 掌握 的 软件 测试 方法 越 多 ,会 用 的 测试 工具 越 多 ,测试 过 
的 软件 越 多 , 碰 到 过 的 问题 越 多 ,那么 他 在 新 的 测试 任务 到 来 的 时 候 , 成 功 的 可 能 性 就 越 大 ， 
这 样 的 测试 人 员 价 值 也 就 越 大 。 

从 最 广泛 的 意义 上 来 讲 , 测 试 无 处 不 在 ,因为 各 行 各 业 都 会 有 各 自 的 产品 ,在 他 们 的 产 
品 出 厂 前 ,都 需要 进行 测试 ,以 保证 产品 质量 合格 。 同 时 我 们 生活 的 每 个 角落 ,例如 ,到 商场 
买 东西 ,要 看 看 产品 质量 ; 跟 别 人 交往 ,要 测试 对 方 是 否 友 好 等 ; 特别 是 在 社会 生活 中 我 们 
也 一 直 在 接受 来 自学 校 单 位 或 其 他 个 人 的 测试 。 正 因为 测试 无 处 不 在 ,所 以 可 以 说 人 人 都 
是 测试 员 ,每 个 人 都 在 利用 自己 独立 的 视角 或 者 说 独 具 慧 眼 在 生活 中 进行 着 辨识 和 选择 。 
软件 作为 一 种 特殊 的 产品 ,软件 测试 是 一 种 特殊 的 测试 ,因此 有 着 非常 广泛 的 从 业 人 员 基 
础 ,软件 测试 从 业 人 员 可 以 有 广泛 的 背景 ,从 对 专业 知识 一 无 所 知 的 门外汉 到 百分之百 的 领 
域 专家 ,当然 更 多 的 测试 员 是 介 于 两 者 之 间 。 但 在 这 个 行业 中 要 做 到 一 个 成 熟 的 软件 测试 
专业 人 员 ,还 是 非常 困难 的 ,需要 厚实 的 专业 基础 ,不 断 地 学 习 、 实 践 和 积累 。 

软件 测试 的 专业 基础 涉及 数学 .计算 机 科学 、 软 件 工程 .计算 机 工程 以 及 信息 技术 等 非 
常 广泛 的 领域 ,而 不 是 仅仅 学 好 软件 测试 这 门 课程 就 可 以 了 ,而 且 如 果 没 有 这 些 专业 基础 ， 
软件 测试 课程 也 是 学 不 好 的 ,关于 这 一 点 ,从 软件 测试 课程 中 广泛 的 知识 体 也 可 以 看 出 。 一 
般 来 讲 , 都 是 计算 机 或 相关 专业 的 毕业 生 毕 业 后 根据 兴趣 和 需要 ,经 过 一 定 的 培训 或 学 习 
后 ,开始 从 事 软件 测试 职业 。 

人 们 总 是 喜欢 根据 从 业 人 员 的 能 力 和 成 熟 度 将 一 个 职业 分 成 几 个 等 级 ,在 软件 测试 领 
域 也 可 以 将 从 业 人 员 分 成 5 等 级 (也 可 以 更 多 ,这 里 只 给 出 5 个 等 级 作为 参考 ): 1 级 称 之 为 
用 户 级 测试 人 员 ,这 是 软件 测试 人 员 的 最 低级 别 ,没有 受过 软件 测试 的 专门 训练 ,直接 从 用 
户 角度 通过 使 用 软件 来 发 现 问题 ; 2 级 是 软件 测试 操作 员 , 受 过 软件 测试 的 专门 训练 ,不 仅 
可 以 从 用 户 角度 进行 用 户 级 测试 ,还 可 以 完成 上 级 下 达 的 具体 的 测试 任务 ; 3 级 是 软件 测 
试 技术 员 ,能 够 非常 熟悉 地 驾驭 某 些 软件 测试 专门 技术 ,设计 一 些 高 级 的 测试 用 例 ,进行 高 
效 的 软件 测试 ,可 以 将 一 些 测试 任务 下 达 给 2 级 测试 操作 员 ,并 具有 很 多 软件 测试 成 功 的 经 
验 ; 4 级 是 软件 测试 系统 工程 师 , 系 统 掌握 所 有 的 软件 测试 方法 ,具有 计算 机 等 相关 专业 知 
识 ,并 曾 是 成 熟 的 软件 开发 人 员 , 具 有 充分 的 软件 测试 经 历 ; 5 级 是 软件 测试 总 工程 师 , 既 
是 软件 测试 系统 工程 师 , 具 有 丰富 的 软件 测试 经 验 , 又 能 做 项 目 经 理 , 负 责 管理 整个 软件 测 
试 项 目 。 
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习题 1.9 


1. 作为 一 种 职业 ,你 认为 软件 测试 员 应 该 具备 哪些 专业 基础 ? 
2. 实践 经 验 是 人 们 称 为 一 名 合格 专业 人 士 的 必 备 条 件 ,你 认为 软件 测试 人 员 的 实践 经 
验 包括 哪些 内 容 ? 


(i.10 软件 测试 的 学 术 研究 


软件 测试 领域 存在 着 很 多 非常 困难 的 科学 问题 ,例如 ,对 于 一 个 特定 的 软件 ,如 何 选 择 
一 组 有 效 的 测试 方法 ,对 之 进行 科学 的 测试 ? 如 何 从 庞大 的 可 用 测试 用 例 空间 中 选择 少量 
的 测试 用 例 对 该 软件 进行 有 效 的 测试 ? 软件 测试 什么 时 候 可 以 停止 ? 等 等 。 正 是 这 些 问 题 
推动 着 软件 测试 领域 学 术 研究 的 繁荣 ,很 多 研究 者 试图 从 自己 的 视角 和 基础 出 发 给 出 新 的 
解决 方案 。 

2000 年 ,M.J. Horrold 对 软件 测试 领域 进行 总 结 ,提出 软件 测试 领域 的 主要 问题 是 探 
索 各 种 新 的 软件 测试 方法 和 过 程 , 开 发 相应 的 工具 ,并 进行 实证 研究 。2007 年 , Antonia 
Bertolino 又 重新 对 该 领域 进行 总 结 ,她 首先 肯定 人 们 在 可 靠 性 测试 ,测试 过 程 、 协 议 测 试 、 
测试 充分 性 准则 及 相互 比较 ,构件 测试 及 面向 对 象 软件 测试 方面 取得 的 成 绩 。 然 后 指出 了 
人 们 在 测试 输入 生成 .测试 预期 输出 、 测 试 成 本 及 有 效 性 、 基 于 假设 的 测试 、 针 对 不 同 计算 方 
式 软 件 的 测试 ,功能 性 和 非 功能 性 测试 等 领域 的 挑战 ,提出 了 建立 统一 的 测试 理论 ,基于 测 
试 的 建 模 、 测 试 自动 化 和 效率 最 大 化 测试 工程 等 4 项 研究 目标 。 

本 书 将 软件 测试 的 研究 划分 为 两 大 类 : 一 类 是 图 1-11 中 上 面部 分 ,研究 针对 各 类 具体 
软件 的 测试 方法 ; 另 一 类 是 下 面部 分 ,可 称 为 软件 测试 的 基本 方法 。 下 面 的 方法 体系 可 为 
上 面具 体 软 件 的 测试 服务 ,同时 具体 软件 测试 也 给 基本 测试 方法 提出 了 新 的 要 求 。 

针对 不 同 开发 方式 和 应 用 场景 的 软件 测试 方法 
面向 | 面向 | 面向 | 基于 | 菊 入 [车 适 | 云 计 [ Web[ 四 构 其 他 
对 这 物件 | 和 :| 六法 | | 袍 全 | 软件 | 新光 
软件 | 软件 | 软件 | 软件 | 软件 | 泗 斌 | 软件 

测试 | 测试 | 测试 | 测试 | 总 | 测试 
针对 软件 不 同 特性 和 方面 的 软件 测试 方法 
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图 1-11 下 面部 分 的 软件 测试 基本 方法 中 的 每 一 种 方法 都 有 其 独特 的 测试 目标 ,用 以 解 
决 不 同 的 测试 问题 ,采用 不 同 的 测试 用 例 生 成 方法 ,从 而 具有 不 同 的 特点 。 例 如 ,组 合 测试 
目标 是 检测 待 测 软件 系统 中 各 种 因素 相互 作用 引发 的 故障 ,采用 组 合 设计 方法 生成 测试 用 
例 , 可 以 有 效 地 发 现 交 互 性 错误 。 边 界 值 分 析 根据 人 们 实践 经 验 : 边界 点 往往 有 较 大 可 能 
引发 错误 ,因此 在 设计 测试 用 例 时 ,充分 采用 边界 值 。 每 一 种 方法 在 使 用 时 ,其 效果 往往 因 
人 而 异 ,原因 就 是 每 一 种 方法 都 值得 研究 ,我 们 需要 对 其 中 每 一 种 方法 都 要 进行 认真 研究 ， 
探索 各 种 方法 的 具体 使 用 步骤 .工具 支持 、 使 用 成 本 存在 的 风险 等 问题 。 

目前 关于 某 种 特殊 的 测试 方法 的 研究 非常 多 ,例如 虹 变 测试 ,变异 测试 组 合 测试 .演化 
测试 等 等 ,这 些 研 究 一 方面 研究 和 尝试 如 何 充分 发 挥 特定 的 测试 方法 的 作用 , 另 一 方面 , 通 
过 一 些 具体 的 应 用 ,收集 该 方法 有 效 性 的 证 据 , 并 在 实践 中 发 现 和 解决 一 些 新 的 问题 。 例 
如 ,在 软件 发 生 修改 后 ,研究 如 何以 最 小 的 测试 用 例 集 、 最 少 成 本 的 测试 保证 修改 的 正确 性 
以 及 修改 未 带 来 任何 副作用 ; 怎样 定量 评估 各 种 测试 充分 性 准则 的 有 效 性 等 问题 。 其 实 ， 
测试 用 例 集 的 最 小 化 和 测试 有 效 性 评估 也 是 所 有 测试 方法 的 共性 问题 , 除 此 之 外 ,还 有 测试 
目标 及 测试 用 例 生成 问题 ; 测试 用 例 的 优化 , 即 寻找 一 个 最 好 的 测试 用 例 执 行 顺序 ,使 之 达 
到 最 好 测试 效果 ; 还 有 在 用 不 同 的 测试 方法 时 ,如 果 发 现 故障 ,如 何 进行 故障 定位 问题 ; 不 
同 测试 方法 的 测试 充分 性 问题 等 。 

除了 对 单个 测试 方法 进行 系统 研究 ,还 需要 从 软件 测试 不 同 层面 进行 系统 的 交叉 结合 
和 比较 研究 ,例如 ,针对 各 种 测试 覆盖 标准 的 比较 研究 ,软件 开发 过 程 中 不 同 阶段 的 测试 间 
关系 研究 ,面向 各 种 具体 开发 方法 和 应 用 环境 的 软件 测试 方法 的 比较 研究 ,软件 的 各 种 特性 
测试 ,以 及 各 种 测试 技术 之 间 的 比较 研究 等 ,目标 是 探索 并 建立 软件 测试 研究 和 实践 的 多 维 
度 和 系统 化 的 科学 体系 。 例 如 ,人 们 已 经 对 随机 测试 和 自 适应 随机 测试 、 随 机 测试 和 组 合 测 
试 等 进行 比较 研究 。 


习题 1.10 


1. 在 软件 测试 领域 ,最 根本 的 问题 在 哪里 ? 为 了 解决 这 个 问题 ,人 们 通常 采取 哪些 
方法 ? 

2. 软件 测试 方法 的 理论 与 实证 研究 都 很 重要 ,各 种 测试 方法 的 交叉 结合 的 意义 是 
什么 ? 


人 al 软件 测试 的 工具 


工具 是 人 们 认识 世界 改造 世界 能 力 的 延伸 ,例如 ,有 了 手机 ,人 们 可 以 和 千里 之 外 的 朋 
友 说 话 ; 有 了 飞机 ,人 们 可 以 日 行 万 里 。 软 件 测试 工具 可 以 将 原来 人 们 手工 完成 的 工作 , 利 
用 工具 辅助 完成 ,可 以 极 大 减轻 测试 人 员 的 工作 量 , 提 高 工作 效率 。 例 如 ,有 些 测试 数据 生 
成 工具 ,可 以 在 短 时 间 内 产生 大 量 的 数据 ,而 不 需要 测试 人 员 一 条 条 地 添加 数据 。 有 些 工具 
在 提高 工作 效率 方面 的 作用 并 不 明显 ,但 可 以 起 到 让 测试 更 规范 。 例 如 ,测试 管理 工具 或 缺 
陷 跟踪 工具 ,可 以 让 测试 的 流程 更 加 规范 ,让 测试 有 条 不 率 地 进行 ,测试 报告 更 加 规范 ,数据 
记录 更 加 完整 ,统计 分 析 更 加 准确 等 。 
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软件 测试 的 概念 与 方法 


软件 测试 工具 大 致 包括 以 下 几 种 : 

(1) 测试 管理 工具 。 用 于 管理 测试 的 整个 工作 过 程 以 及 过 程 中 产生 的 各 种 相关 文档 、 
数据 、 记 录 和 报告 等 。 常 用 的 管理 工具 有 TestDirector 和 TestManager 等 。 

(2) 自动 化 功能 测试 工具 。 用 于 自动 化 执行 功能 测试 脚本 ,一 般 采 用 基于 录制 回放 的 
机 制 ,通过 录制 操作 过 程 ,产生 基本 的 测试 脚本 ,然后 在 脚本 编辑 器 中 进一步 完善 测试 脚本 ， 
再 通过 回放 脚本 的 方式 执行 测试 脚本 的 步骤 ,从 而 实现 功能 测试 的 自动 化 。 常 用 的 测试 自 
动 化 工具 有 QTP(Quick Test Professional)、Rational Robot TestCoplete 等 。 

(3) 性 能 测试 工具 。 用 于 性 能 测试 过 程 中 的 通信 协议 模拟 、 并 发 用 户 模拟 及 性 能 参数 
监控 等 方面 的 测试 工具 ,如 LoadRunner、SilkPerformer 等 。 

(4) 单元 测试 工具 。 用 于 单元 测试 的 测试 框架 ,这 些 测试 工具 提供 单元 测试 的 一 些 接 
口 ,管理 单元 测试 的 执行 ,例如 XUnit 系列 .MSTest 等 。 

(5) 白 盒 测试 工具 。 用 于 测试 程序 内 部 逻辑 和 错误 的 测试 工具 ,又 可 以 细 分 为 代码 
标准 检查 工具 .代码 效率 检查 工具 和 内 存 泄露 检查 工具 等 ,如 TEST、AQTime 和 
BundsChecker 等 。 

(6) 测试 用 例 设 计 工 具 。 用 于 辅助 测试 用 例 的 设计 或 测试 数据 生成 的 工具 ,一 般 常 用 
的 有 CTE XL、AETG 和 PICT 等 。 

测试 工具 还 可 以 根据 收费 方式 分 为 商业 测试 工具 .开源 测试 工具 和 免费 测试 工具 。 


习题 1.11 


1. 软件 测试 工具 大 致 可 以 分 为 几 种 ? 
2. 学 习 使 用 一 种 软件 测试 工具 。 


(Li 软件 测试 的 管理 


随 着 软件 规模 和 复杂 性 的 日 益 增 长 ,软件 故障 也 越 来 越 多 ,作为 软件 质量 保证 的 重 
要 手段 ,软件 测试 的 规模 和 难度 也 越 来 越 大 ,需要 的 测试 人 员 也 越 来 越 多 。 对 测试 过 程 、 
测试 人 员 及 组 织 ,测试 文档 测试 环境 .测试 质量 等 都 需要 进行 全 面 管理 ,才能 有 效 进行 
测试 。 

软件 测试 项 目 是 在 一 定 的 组 织 机 构 内 ,利用 有 限 的 人 力 和 财力 资源 ,在 特定 的 环境 和 要 
求 下 ,对 特定 软件 完成 指定 测试 目标 的 测试 任务 ,测试 任务 要 满足 一 定 质量 数量 和 技术 指 
标 要 求 。 

软件 测试 管理 就 是 以 测试 项 目 为 管理 对 象 , 通 过 一 个 临时 性 的 专门 的 测试 组 织 , 运 用 专 
门 的 软件 测试 知识 、 技 能、 工具 和 方法 ,对 测试 项 目 进行 计划 、 组 织 、 执 行 和 控制 ,并 在 时 间 成 
本 、 软 件 测试 质量 等 方面 进行 分 析 和 管理 活动 。 软 件 测试 管理 贯穿 整个 测试 项 目的 生命 周 
期 ,是 对 测试 项 目的 全 过 程 进行 管理 。 

软件 工程 项 目 越 大 , 越 复杂 ,管理 工作 量 占 软 件 研 制 工作 量 的 比例 也 越 大 。 管 理 的 基本 
目标 是 以 最 小 代价 达到 对 工程 项 目 预期 的 要 求 ,基本 任务 是 保证 恰当 地 确定 软件 测试 需求 
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和 圆满 地 实现 要 求 。 因 此 ,软件 测试 管理 的 关键 在 于 ,对 软件 测试 全 过 程控 制 , 对 软件 质量 
的 全 方位 管理 ,建立 多 层次 的 软件 开发 ,管理 体系 。 

王 轶 辰 等 为 软件 测试 管理 构建 了 一 个 全 方位 .全 过 程 . 多 层次 的 三 维 模型 ; 

(1) 时 间 维 。 全 过 程 管理 ,对 软件 测试 项 目的 全 过 程 进 行 控制 ,具体 包括 : 测试 计划 管 
理 、 测 试 设计 管理 ,测试 执行 管理 ,测试 结果 管理 等 。 

(2) 空间 维 。 全 方位 管理 ,对 与 软件 质量 有 关 的 关键 因素 实施 全 方位 管理 ,具体 包括 缺 
陷 管 理 \ 文 档 管 理 、 配 置 管理 ,评审 管理 .质量 管理 和 回归 管理 等 。 

(3) 组 织 维 。 人 员 管 理 ,构建 从 测试 人 员 、 测 试 小 组 到 测试 机 构 的 多 层次 的 组 织 管理 
模式 。 


习题 1.12 


1. 软件 测试 的 管理 具体 有 哪些 内 容 ? 
2. 如 何 理 解 软件 测试 管理 的 全 方位 、 全 过 程 和 多 层次 。 
3. 软件 测试 管理 具有 什么 作用 ? 


(ia 软件 测试 的 过 去 ,现在 和 未 来 


像 计 算 机 领域 的 其 他 学 科 一 样 ,软件 测试 经 历 了 从 无 到 有 、 从 简单 到 复杂 、 从 低级 到 高 
级 的 发 展 过 程 。 了 解 软 件 测试 的 过 去 和 现状 ,有 利于 人 们 积极 投入 到 软件 测试 的 未 来 发 展 
中 去 。 

有 了 计算 机 软件 ,就 可 能 存在 问题 ; 有 了 问题 ,就 需要 测试 ,因此 可 以 认为 软件 测试 是 
与 计算 机 软件 一 起 诞生 的 , 即 有 了 软件 就 有 了 软件 测试 。 软 件 测试 的 发 展 是 受 计算 机 软件 
发 展 推动 的 ,也 反映 了 软件 业 的 发 展 过 程 ,根据 软件 业 发 展 的 几 个 历史 时 期 可 以 将 软件 测试 
划分 为 以 下 几 个 阶段 : 

(1) 测试 的 初级 阶段 (1950 年 左右 ) 一 一 面向 调试 (Debuging Oriented)。 在 这 个 时 期 ， 
计算 机 技术 发 展 初期 ,软件 规模 都 很 小 ,复杂 度 相 对 较 低 , 软 件 错 误 大 部 分 在 开发 人 员 的 调 
试 阶段 就 发 现 解决 了 ,在 这 个 阶段 测试 与 调试 是 等 同 的 ,都 是 由 开发 人 员 自 己 完成 。 

(2) 软件 测试 与 调试 的 分 离 (1960 年 左右 ) 面向 演示 (Demonstration Oriented) 。 
直到 1957 年 ,软件 测试 才 开始 与 调试 区 别 开 来 ,有 人 认为 “为 了 让 我 们 看 到 产品 在 工作 ,就 
得 将 测试 工作 往 后 推 一 点 ”, 因 此 测试 的 目的 就 是 “确信 自己 的 产品 能 工作 ”。 这 个 阶段 的 测 
试 主要 还 是 在 程序 编写 后 进行 的 ,通过 一 些 错 误 猜测 和 经 验 推 断 等 方法 验证 软件 的 正确 性 ， 
由 于 缺乏 测试 理论 和 方法 的 指导 ,测试 的 力度 .时 间 都 非常 有 限 , 软 件 交 付 后 一 般 都 存在 大 
量 问题 。 

(3) 测试 的 发 展 阶段 (1970 年 左右 ) 面向 破坏 (Destruction Oriented) 。 由 于 软件 危 
机 愈演愈烈 ,人 们 开始 提出 了 软件 开发 的 工程 化 思想 ,在 软件 工程 的 思想 影响 下 ,软件 测试 
得 到 发 展 ,软件 测试 的 地 位 也 得 到 了 确认 。 人 们 开始 给 软件 测试 下 定义 ,例如 1973 年 ,Bill 
Hetzel 博士 给 出 了 软件 测试 的 第 一 个 定义 :“ 软 件 测试 就 是 对 程序 能 够 按 预 期 的 要 求 运 行 
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建立 起 一 种 信心 ”1983 年 修订 为 定义 2)。Myers 的 定义 1“ 测 试 是 以 发 现 错误 为 目的 而 运 
行程 序 或 系统 的 执行 过 程 ” 也 是 这 个 时 期 给 出 的 。 

(4) 软件 测试 的 日 渐 成 熟 阶段 (1980 年 左右 ) 一 一 面向 评价 (Evaluation Oriented)。 软 
件 行业 的 飞速 发 展 ,软件 规模 越 来 越 大 ,复杂 度 越 来 越 高 ,人 们 对 软件 质量 越 来 越 重 视 ,软件 
测试 的 理论 和 技术 都 得 到 了 快速 的 发 展 ,人 们 开始 把 软件 测试 作为 软件 质量 保证 的 重要 手 
段 ,用 于 评价 软件 的 质量 。 一 种 重要 的 标志 是 IEEE 给 软件 测试 下 了 定义 ,并 发 布 了 软件 测 
试 的 国际 标准 一 一 (软件 测试 文档 IEEE 标准 》(IEEE 829)。 人 们 已 经 认识 到 ,软件 测试 作 
为 检查 软件 系统 是 否 满足 用 户 需求 的 活动 ,不 是 一 次 性 在 开发 后 期 完成 的 ,而 是 伴随 着 整个 
开发 流程 ; 软件 测试 需要 专门 的 方法 和 手段 ,需要 专门 的 人 才 和 专家 来 实施 ,应 该 成 为 一 个 
专业 。 

(5) 软件 测试 的 成 熟 阶段 (1990 年 后 ) 一 一 面向 预防 (Prevention Oriented)。 随 着 软件 
工程 的 百花 齐 放 , 出 现 了 面向 对 象 方法 、 敏 捷 开 发 等 各 种 软件 开发 的 新 模式 ,由 此 使 得 人 们 
对 软件 测试 进行 了 新 的 思考 ,人 们 渐渐 倾向 于 将 软件 测试 与 软件 开发 进行 融合 ,开发 人 员 担 
任 部 分 测试 责任 ,测试 人 员 参 与 到 代码 开发 中 去 。 软 件 开 发 与 测试 的 界限 在 “测试 驱动 的 开 
发 模式 (TDD)” 中 变 得 模糊 起 来 。 美 国 卡耐基 梅 隆 大 学 软件 工程 研究 所 推出 的 能 力 成 熟 度 
模型 (CMM) 将 软件 测试 整合 在 软件 过 程 之 中 ,作为 衡量 软件 开发 能 力 成 熟 度 的 一 个 重要 指 
标 ,此 阶段 软件 测试 的 特征 是 重 在 预防 。 

(6) 软件 测试 职业 .教育 和 研究 逐渐 兴起 (2000 年 后 )。 出 现 了 大 批 以 软件 测试 为 职业 
的 从 业 人 员 和 软件 评测 机 构 ,在 国外 成 熟 的 软件 企业 内 ,软件 测试 人 员 和 开发 人 员 的 比例 超 
过 1:1, 并 成 立 了 专门 的 测试 部 门 ; 对 成 熟 的 软件 测试 人 才 的 期 盼 已 经 成 为 所 有 软件 企业 
最 重要 的 需求 。 同 时 软件 测试 教育 和 研究 成 为 软件 工程 领域 一 个 非常 重要 的 热点 ,几乎 所 
有 拥有 计算 机 系 的 高 校 都 开设 软件 测试 课程 ,软件 测试 教材 成 批 涌现 ,出现 了 很 多 软件 测试 
学 术 研 究 组 织 和 国际 会 议 。 每 年 都 有 大 量 的 软件 测试 研究 论文 发 表 , 不 少 专业 公司 开发 了 
各 种 自动 化 测试 工具 ,并 形成 了 较 大 的 相关 产业 。 

软件 测试 领域 在 最 近 的 10 多 年 里 发 展 迅速 ,前 面 已 经 从 软件 测试 的 定义 课程、 软件 测 
试 职业 和 软件 测试 科学 等 多 个 层面 试图 对 该 领域 进行 一 个 系统 的 梳理 ,以 期 抛砖引玉 ,为 软 
件 测试 领域 的 产 学 研 紧 密 结合 和 更 好 更 快 发 展 提供 新 的 系统 化 基础 。 通 过 系统 地 总 结 软件 
测试 课程 知识 体 ,为 软件 测试 课程 的 发 展 和 教学 改革 提供 新 的 基础 和 指导 ; 通过 探讨 软件 
测试 职业 的 职业 技能 和 素养 ,为 软件 测试 从 业 人 员 自 身 发 展 和 提高 提供 参考 ; 通过 系统 探 
讨 目前 软件 测试 研究 领域 的 科学 问题 ,可 以 为 该 领域 科学 工作 者 从 事 更 加 有 效 的 研究 工作 
提供 新 的 思路 。 

不 同 的 产品 有 不 同 的 测试 方法 ,所 有 这 些 测试 方法 全 体 构 成 一 个 大 测试 领域 ,软件 是 一 
种 产品 ,软件 测试 是 大 测试 领域 中 的 一 员 ( 如 图 1-12 所 示 )。 软 件 测 试 领域 的 发 展 已 经 并 将 
继续 从 大 测试 领域 获得 营养 , 即 从 其 他 产品 测试 方法 中 获得 启发 或 借鉴 ,例如 ,从 人 才 选 拔 
测试 过 程 中 可 以 学 习 到 像 给 学 生 考试 一 样 考查 软件 ; 同时 人 们 在 软件 测试 领域 本 身 取得 的 
进步 反 过 来 也 将 推动 大 测试 领域 的 进步 。 
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图 1-12 大 测试 领域 中 各 类 产品 测试 方法 体 
系 之 间 可 以 相互 借鉴 


习题 1.13 


1. 简 述 软件 测试 发 展 的 6 个 发 展 阶段 。 
2. 软件 测试 与 其 他 领域 产品 测试 方法 应 该 如 何 相 互 促进 发 展 ? 


a 
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白 盒 测试 和 黑 盒 测试 


@.1 白 盒 测试 (White Box Testing) 


1. 概念 


白 盒 测试 对 软件 代码 等 过 程 性 描述 进行 细致 的 检查 ,这 一 方法 把 测试 对 象 看 成 一 个 
打开 的 盒子 (如 图 2-1 所 示 ) ,允许 软件 测试 员 利 用 程序 内 部 的 迎 辑 结构 及 有 关 信 息 , 设 计 
或 选择 测试 用 例 , 对 程序 所 有 逻辑 路 径 和 条 件 分 支 等 结构 成 分 进行 测试 。 通 过 在 不 同 点 
检查 程序 的 状态 ,验证 实际 的 状态 是 否 与 预期 的 状态 一 致 , 故 又 称 结构 测试 。 


图 2-1 白 盒 测试 示意 图 
2. 目标 


白 盒 测试 分 为 静态 和 动态 两 种 。 静 态 白 盒 测 试 包括 代码 审查 、 走 查 等 , 它 不 执行 软件 。 
程序 的 静态 测试 可 以 转变 程序 员 的 一 些 错误 观点 ,例如 “程序 是 写 给 计算 机 读 的 ”"“ 只 要 在 
机 器 上 可 以 执行 就 可 以 了 ”等 。 程 序 不 仅 要 求 机 器 可 读 和 可 执行 ,还 要 求 对 人 具有 良好 的 可 
读 性 ,静态 的 白 盒 测试 通过 专家 对 程序 员 的 工作 进行 评审 和 分 析 , 其 目的 是 : 一 方面 要 求 程 
序 员 用 更 好 的 结构 .更 规范 的 方法 工作 ,保证 程序 的 可 读 性 和 可 维护 性 ; 另 一 方面 尽早 发 现 
程序 中 存在 的 问题 。 

动态 白 盒 测 试 是 运行 待 测试 软件 ,检查 其 结构 元 素 是 否 被 完全 覆盖 等 。 使 用 动态 白 盒 
测试 ,主要 对 模块 进行 如 下 的 测试 : 

(1) 对 程序 模块 的 所 有 独立 的 执行 路 径 至 少 执行 一 次 。 

(2) 对 所 有 的 逻辑 判定 , 取 值 为 “ 真 ”与 取 值 为 “ 假 ” 的 两 种 情况 都 能 至 少 测试 一 次 。 

(3) 在 循环 的 边界 与 运行 界限 内 执行 循环 体 。 
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(4) 测试 内 部 数据 结构 的 有 效 性 。 
3. 原理 


白 盒 测 试 必 不 可 少 ,主要 因为 人 们 在 设计 和 实现 程序 代码 时 可 能 存在 以 下 问题 ; 

(1) 人 们 可 能 直觉 上 认为 某 些 迎 辑 路 径 不 可 能 被 执行 ,但 程序 的 迎 辑 流 有 时 和 直觉 不 
一 样 , 即 人 们 关于 控制 流 和 数据 流 的 一 些 无 意识 的 假设 可 能 导致 设计 错误 ,路 径 测试 可 以 有 

(2) 人 们 在 设计 和 编写 软件 代码 时 ,一 些 常 用 的 主流 功能 不 大 会 出 错 ,相反 在 设计 和 实 
现 主 流 之 外 的 功能 ,条件 和 控制 时 会 出 现 各 种 疏忽 和 大 意 。 程 序 员 能 很 好 地 理解 程序 中 的 
关键 功能 ,而 对 一 些 非 关键 部 分 可 能 会 投入 不 足 。 这 就 出 现 所 谓 “ 程 序 路 径 执 行 概率 与 错误 
存在 概率 成 反比 ”的 现象 。 

(3) 程序 在 编码 过 程 中 , 笔 误 、 误 解 等 各 种 类 型 的 失误 是 不 可 避免 的 ,虽然 语法 检查 机 
制 可 以 发 现 很 多 错误 ,但 有 些 错 误 只 能 通过 测试 才能 发 现 ,而 这 些 失 误 出 现在 每 条 逮 辑 路 径 
上 的 几率 都 是 一 样 的 ,因此 细致 的 白 盒 测 试 非常 有 必要 。 

(4) 功能 性 测试 只 能 检查 程序 功能 是 否 被 正确 实现 ,如 果 程 序 实现 了 没有 被 描述 的 行 
为 ,功能 性 测试 就 无 法 发 现 。 例 如 ,程序 中 存在 一 些 安全 漏洞 ,甚至 是 病毒 ,这些 都 会 给 软件 
带 来 隐患 。 

白 盒 测试 与 调试 的 关系 如 下 : 

白 盒 测试 是 为 了 发 现 错误 ,调试 是 根据 发 现 错误 的 测试 记录 报告 ,对 错误 进行 定位 和 修 
改 , 最 后 消除 错误 的 过 程 ; 白 盒 测 试 可 以 由 独立 的 测试 人 员 进 行 ,但 调试 一 般 只 由 程序 员 本 
人 完成 ; 白 盒 测试 是 按照 一 定 计划 进行 的 ,需要 进行 精心 设计 ,调试 则 依赖 于 程序 员 的 经 验 
和 智慧 进行 推理 。 两 者 具有 紧密 的 联系 ,它们 都 是 对 软件 代码 等 过 程 性 描述 进行 细致 的 检 
查 。 白 盒 测 试 需要 调试 将 发 现 的 错误 消除 ,调试 需要 白 盒 测 试 将 发 现 的 错误 进行 隔离 ,并 确 
认错 误 已 经 被 修正 。 


4. 方法 


白 盒 测试 基于 源 程序 的 测试 方法 ,根据 是 否 执行 源 程序 分 为 静态 白 盒 测试 和 动态 白 
盒 测试 。 静 态 白 盒 测试 是 指 按照 一 定 步 又 直接 检查 源 代 码 来 发 现 错误 ,而 不 用 生成 测试 
用 例 并 驱动 被 测试 程序 运行 来 发 现 错误 。 静 态 白 盒 测试 包括 代码 审查 .代码 走 查 、 桌 面 
检查 .静态 结构 分 析 法 和 代码 质量 度量 法 等 方法 。 动 态 白 盒 测 试 需要 基于 对 程序 代码 内 
部 旭 辑 的 了 解 ,按照 一 定 步骤 生成 测试 用 例 并 驱动 程序 运行 来 发 现 错误 ,其 实现 主要 基 
于 以 下 各 种 覆盖 准则 : 

。 语句 覆盖 ， 

。 判定 覆盖 ; 

。 条 件 覆 盖 ; 

。 判定 /条 件 覆 盖 ; 

。 条 件 组 合 覆 盖 ; 
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。 路 径 覆 盖 ; 

。 LCSAJ 覆盖 ; 

。 定义 /引用 对 。 

白 盒 测试 主要 有 以 下 步骤 : 根据 软件 高 层 设计 、 详 细 设 计 和 源 程序 等 画 出 程序 图 ,设计 
并 执行 测试 用 例 ,分 析 覆 盖 标 准 和 判定 测试 结果 。 图 2-2 描述 了 白 盒 测试 过 程 ,包括 静态 和 
动态 两 个 方面 。 在 实际 测试 过 程 中 ,往往 先进 行 静态 白 盒 测试 ,然后 进行 动态 白 盒 测试 ; 或 
者 将 这 两 个 方面 结合 在 一 起 使 用 。 例 如 ,在 静态 白 盒 测试 过 程 中 设计 动态 测试 用 例 , 或 者 在 
设计 动态 测试 用 例 的 过 程 中 进行 静态 白 盒 测试 ,这 样 可 以 设计 出 更 具 针 对 性 的 白 盒 测试 


用 例 。 
是 否 执 
行 代码 


高 屋 设计 、 
详细 设计 、 
源 代码 等 


部 


下 


| 设计 并 执行 | 收集 结果 ， 
测试 用 例 分 析 覆 盖 率 | 


对 照 编 码 规范 、 错 误 检 

生 表 进行 桌面 检查 、 同 
和 和 代码 走 查 等 静 
态 测试 过 程 


图 2-2 静态 /动态 白 盒 测试 过 程 
5. 实例 


如 图 2-3 所 示 的 程序 流 图 , 它 对 应 了 一 个 100 行 源 代码 的 C 语言 程序 ,其 中 包括 一 个 执 
行 不 超过 20 次 的 循环 ,那么 它 所 包含 的 不 同 路 径 高 达 55( 关 10”) 条 。 若 要 对 它 进 行 穷 举 
测试 , 即 设计 测试 用 例 并 覆盖 所 有 的 路 径 ,假设 有 一 
个 测试 程序 ,对 每 条 路 径 的 测试 需 lms, 那 么 要 完成 
测试 约 需 3024 年 。 根 据 这 个 简单 例子 ,我 们 可 以 得 
出 以 下 两 点 : 

(1) 进行 任何 穷 举 测试 都 是 一 场 灾难 ,因此 .可行 0 
的 策略 是 在 一 定 的 开发 周期 和 某 种 经 济 条 件 下 ,通过 
有 限 的 测试 尽 可 能 多 地 发 现 错误 。 

(2) 测试 只 能 发 现 错误 ,而 在 未 发 现 错误 的 情况 
下 ,不 能 保证 程序 没有 错误 。 


6. 优 缺 点 


白 盒 测试 是 在 具备 实现 知识 的 基础 上 的 静态 或 动态 测试 ,例如 ,代码 评审 、 代 码 走 查 、 要 
求 每 行 代码 至 少 执行 一 次 或 每 个 函数 被 单独 执行 一 次 等 。 白 盒 测试 的 主要 目标 是 关注 内 部 
程序 结构 。 关 注 的 程序 结构 包括 程序 语句 和 分 支 .各 种 类 型 程序 路 径 ,程序 内 部 人 逻辑 和 数据 
结构 ,程序 内 部 行为 和 状态 ,以 此 为 基础 发 现 内 部 程序 错误 。 在 黑 盒 测 试 基础 上 增加 白 盒 测 
试 ,可 以 有 效 提高 软件 质量 。 

白 盒 测试 ,特别 是 静态 白 盒 测试 的 优点 是 不 仅 可 以 尽早 发 现 问题 ,而 且 有 助 于 优化 代 


2-3 程序 流 图 
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码 。 例 如 ,通过 分 析 源 代码 ,确定 是 否 与 编码 标准 一 致 ; 删除 多 余 的 代码 行 , 减 少 隐藏 缺陷 ; 
发 现 哪 种 输入 数据 有 利于 提高 测试 效率 等 。 动 态 白 盒 测试 针对 源 代码 进行 代码 覆盖 、 分 支 
覆盖 和 路 径 履 盖 等 多 方面 测试 求证 ,形成 对 软件 的 健壮 测试 。 

白 盒 测试 的 不 足 之 处 是 需要 了 解 代 码 和 内 部 结构 ,因此 有 较 高 的 门槛 ,需要 对 目标 
系统 、 测 试 工具 、 编 码 语言 和 建 模 等 具备 丰富 经 验 的 测试 人 员 。 特 别 是 对 于 一 些 大 型 软 
件 ,必须 使 用 一 些 特殊 的 工具 ,如 源 代 码 分 析 工 具 、 调 试 器 和 故障 植 人 工具 等 进行 辅助 。 


习题 2.1 


1. 白 盒 测试 可 以 检查 出 哪些 问题 ? 它 有 哪些 优点 和 不 足 ? 
2. 白 盒 测试 包含 哪些 不 同 级 别 的 测试 方法 ? 


2.1.1 静态 白 盒 测试 (Static White Box Testing) 


1. 概念 


静态 白 盒 测试 是 一 些 评审 过 程 ,可 以 是 几 个 程序 员 之 间 一 个 简单 的 会 议 , 对 软件 的 设计 
和 编码 进行 详细 和 严格 的 审查 等 。 这 些 评审 过 程 有 以 下 4 个 特征 : 

(1) 发 现 问题 。 针 对 设计 和 代码 ,检查 错误 和 遗漏 ,所 有 的 批评 都 是 对 事 不 对 人 。 

(2) 遵循 一 定 的 规则 。 例 如 ,指定 审查 的 代码 量 ` 会 议 时 间 和 每 个 参 会 人 员 的 责任 等 。 

(3) 准备 工作 。 评 审 会 效果 取决 于 参 会 人 员 的 会 前 准备 工作 ,每 个 人 都 要 为 会 议 作出 
贡献 。 很 多 问题 都 是 在 会 前 准备 发 现 的 ,而 不 是 在 会 议 上 。 

(4) 会 议 报告 。 评 审 团 要 求 就 发 现 的 问题 写 一 个 书面 报告 ,内容 包括 发 现 了 多 少 问题 、 
问题 在 哪里 等 。 

评审 过 程 需 要 一 个 严格 成 熟 的 过 程 ,不 能 停留 在 “ 聚 到 一 起 ,看 一 看 代码 ”的 初级 阶段 ， 
否则 ,起 不 到 检查 和 发 现 错误 的 目的 ,而 只 是 浪费 时 间 。 当 然 , 评 审 过 程 不 可 能 发 现 所 有 的 
问题 ,该 过 程 无 法 发 现 的 问题 将 通过 动态 执行 阶段 等 后 续 方 法 发 现 。 

静态 白 盒 测 试 通过 各 种 评审 ,除了 可 以 发 现 问题 外 ,还 有 以 下 作用 : 

(1) 交流 沟通 的 作用 。 通 过 评审 会 ,程序 员 之 间 可 以 相互 学 习 ; 项 目 经 理 可 以 了 解 项 
目 进度 ; 黑 盒 测 试 人 员 可 能 会 得 到 一 些 有 用 信息 ,有 利于 进行 黑 盒 测 试 。 

(2) 提高 编码 和 文档 质量 。 程 序 的 代码 和 相关 的 文档 被 同行 和 专家 仔细 阅读 和 评审 ， 
这 对 程序 员 是 一 个 很 大 的 压力 ,这 使 得 程序 员 在 编码 及 文档 时 会 非常 认真 。 

(3) 建立 团队 友谊 。 评 审 会 使 得 大 家 相互 了 解 对 方 的 工作 技能 和 难度 ,互相 理解 和 
尊重 。 

(4) 寻求 解决 方案 。 对 于 一 些 棘 手 的 问题 ,评审 会 的 讨论 有 可 能 提供 部 分 解决 思路 。 


2. 方法 


(1) 同行 评审 (Peer Review)。 有 时 也 称 好 友 评 审 , 不 是 很 正式 ,相当 于 “你 把 你 的 程序 
拿 给 我 看 看 ,我 把 我 的 程序 拿 给 你 看 看 ”, 通 常 由 软件 设计 人 员 和 编码 人 员 加 上 一 两 个 其 他 
程序 员 或 测试 人 员 组 成 。 要 提高 同行 评审 的 效果 ,必须 着 重 体现 一 般 评审 过 程 的 4 个 特征 。 
不 管 怎样 , 聚 到 一 起 讨论 程序 代码 还 是 有 助 于 发 现 问题 的 。 
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(2) 代码 审查 (Code Inspections)。 代 码 审 查 是 最 正式 的 一 种 评审 ,编写 受 评审 代码 的 
程序 员 不 能 参与 评审 ,所 以 要 求 每 个 参与 人 员 都 要 受过 专门 的 训练 ,能 够 学 习 和 理解 代码 和 
相关 的 材料 。 每 个 评审 人 员 可 以 从 用 户 、 测 试 人 员 和 产品 支持 人 员 等 不 同 角 度 对 代码 进行 
评审 ,从 而 可 以 从 不 同方 面 发 现 错误 。 要 从 其 中 指定 一 个 记录 员 和 一 名 协调 员 负 责 整 个 审 
查 过 程 的 有 效 运行 。 审 查 会 议 结束 之 后 ,评审 人 员 与 协调 员 就 发 现 的 问题 编写 一 个 报告 , 指 
出 解决 相关 问题 的 必要 性 工作 ,然后 交 给 程序 员 进 行 整改 ; 协调 员 对 相关 修改 进行 查证 ,并 
根据 问题 的 大 小 决定 是 否 进 行 下 一 轮 审查 。 代 码 审 查 可 以 有 效 发 现 程序 中 潜藏 的 错误 ,很 
多 公司 和 开发 团队 都 使 用 这 种 方法 。 

(3) 代码 走 查 (Code Walkthroughs)。 代 码 走 查 更 正式 一 点 ,由 程序 员 和 测试 人 员 组 成 
的 5 人 左右 的 审查 小 组 审查 程序 员 自 己 的 程序 。 审 查 小 组 成 员 应 该 提早 收 到 程序 拷贝 , 认 
真 阅读 , 写 好 评语 和 关心 的 问题 。 审 查 小 组 中 至 少 要 有 一 个 资深 的 程序 员 。 

程序 员 通 过 一 行 一 行 、 一 个 功能 一 个 功能 地 阅读 代码 ,解释 代码 是 做 什么 的 以 及 原因 ， 
评审 组 听取 汇报 ,并 就 可 疑 的 地 方 进行 提问 。 参 与 代码 走 查 的 人 员 比 同行 评审 更 多 一 点 , 因 
此 ,更 要 在 发 现 错误 ,会 议 规则 ,提前 准备 和 会 议 总 结 等 环节 下 工夫 。 程 序 员 最 后 将 走 查 过 
程 中 发 现 的 问题 及 如 何 解决 这 些 问题 的 初步 计划 编写 一 个 报告 。 

(4) 桌面 检查 (Desk Examination) 。 桌 面 检查 可 视 为 由 单 人 进行 的 代码 检查 或 代码 走 
查 , 由 一 个 人 阅读 程序 ,对 照 错误 列表 检查 程序 ,对 程序 推演 测试 数据 。 

桌面 检查 一 般 效率 比较 低 ,主要 因为 桌面 检查 基本 上 没有 约束 , 它 违反 了 程序 员 不 能 检 
查 自己 程序 的 原则 。 改 进 的 桌面 检查 由 程序 员 交 互 检查 各 自 的 程序 ,但 即使 是 这 样 ,其 效果 
仍然 不 如 代码 审查 或 代码 走 查 。 因 为 在 代码 审查 和 代码 走 查 小 组 中 存在 着 相互 促进 的 效 
应 ,小 组 会 议 培养 了 良性 竞争 的 气氛 ,人 们 喜欢 通过 发 现 问题 来 展示 自己 的 能 力 。 在 桌面 检 
查 过 程 中 ,由 于 没有 机 会 向 其 他 人 展示 ,因此 缺乏 这 种 相互 促进 的 效果 。 桌 面 检查 好 过 没有 
检查 ,但 其 效果 远 远 逊 色 于 代码 审查 和 代码 走 查 。 


3. 编码 标准 和 指南 


在 正式 评审 中 ,代码 审查 主要 发 现 一 些 遗漏 和 问题 。 一 类 问题 是 代码 写 得 没有 问题 ,但 
程序 不 一 定 能 按照 代码 正常 工作 ,这 些 问题 必须 通过 资深 的 程序 员 和 测试 人 员 仔 细 分 析 代 
码 才能 发 现 ; 另 一 类 问题 是 程序 可 以 正常 工作 ,但 代码 的 编写 不 符合 一 定 的 标准 规范 和 指 
南 。 标 准 规范 是 必须 要 参照 执行 的 ,而 指南 只 是 建议 。 程 序 编写 的 标准 规范 和 指南 是 非常 
重要 的 ,主要 有 以 下 原因 : 

(1) 可 靠 性 要 求 。 按 照 一 定 的 标准 规范 和 指南 编写 的 程序 将 具有 更 好 的 安全 性 和 可 
靠 性 。 

(2) 可 读 性 和 可 维护 性 要 求 。 按 照 一 定 的 标准 规范 和 指南 编写 的 程序 更 容易 阅读 、 理 
解 和 修改 维护 。 

(3) 可 移植 性 要 求 。 代 码 要 求 能 在 不 同 硬件 上 运行 ,在 不 同 编译 器 上 编译 。 如 果 它 按 
照 一 定 规范 ,在 不 同 平台 间 转 移 就 可 以 非常 容易 。 

无 论 标 准 ,还 是 松散 的 团队 内 部 指南 ,最 关键 的 是 开发 队伍 要 有 一 些 标准 和 指南 ,并 通 
过 正式 的 评审 确保 遵照 标准 执行 。 
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习题 2.1.1 


1. 静态 白 盒 测 试 有 哪些 形式 ? 它们 各 有 哪些 利 商 ? 
2. 查找 一 些 资料 ,给 出 一 些 编码 标准 和 指南 的 实例 。 


2.1.2 语句 覆盖 测试 (Statement Testing) 


语句 是 构成 软件 程序 的 元 素 , 软 件 测试 应 该 测试 每 条 语句 。 语 句 覆 盖 就 是 以 源 代码 为 
基础 ,设计 测试 用 例 ,执行 其 中 每 条 可 执行 语句 。 每 个 测试 用 例 必 须 指明 3 个 方面 的 内 容 ， 
即 测试 用 例 的 测试 输入 .该 测试 用 例 执 行 的 语句 、 测 试用 例 的 预期 输出 。 

在 语句 覆盖 中 ,覆盖 对 象 是 每 条 可 执行 语句 。 可 执行 语句 包括 赋值 语句 、 循 环 和 选择 语 
句 、 过 程 和 函数 调用 语句 、 带 初始 化 的 变量 声明 语句 和 堆 中 的 可 变 存储 的 动态 分 配 语句 等 。 
普通 的 变量 申明 语句 被 认为 是 不 可 执行 语句 。 一 般 地 ,一 条 原子 语句 是 一 个 要 么 执行 ,要 么 
不 执行 的 语句 。 例 如 If a Then b, 就 不 是 一 条 原子 语句 ,因为 其 中 的 b 可 能 执行 ,也 有 可 能 
不 执行 ,这 取决 于 a 的 取 值 。 

语句 覆盖 率 计算 公式 如 下 : 

已 妖 行 的 证 
诉 名 入 六 这 一 军 玉 所 四 可 扫 入 区 他 折 昌 X10% 
例如 ,考虑 C 语言 代码 : 


a; 
证 (b) { 
©; 
} 
d; 
设计 一 个 测试 用 例 ,执行 b 的 真 值 分 支 , 就 可 以 实现 语句 覆盖 ,但 如 果 执 行 b 的 假 值 分 支 , 则 
无 法 覆盖 语句 c。 


习题 2.1.2 


结合 自己 的 编程 实践 ,给 出 一 个 通过 语句 覆盖 测试 就 可 以 查 出 该 程序 中 存在 错误 的 例 
子 程序 ,并 说 明 语句 覆盖 测试 的 重要 性 。 


2.1.3 分 支 /决策 覆盖 测试 (Branch/Decision Testing) 


分 支 /决策 覆盖 测试 要 求 从 源 代 码 中 找 出 所 有 的 分 支 或 决策 点 ,设计 相应 的 测试 用 例 ， 
执行 所 有 的 分 支 或 每 个 决策 点 的 两 种 取 值 。 每 个 测试 用 例 要 指出 3 个 方面 的 内 容 , 即 测试 
用 例 的 测试 输入 、 该 测试 用 例 执行 的 分 支 或 决策 点 的 真 假 值 测试 用 例 的 预期 输出 。 


。 。 已 执行 的 分 支 /决策 个 数 。 、，、， 
分 均 决 策 履 盖 率 一 源 代 各 中 所 有 的 分 支 /决策 个 杜 X 190% 


例如 ,图 2-4 中 的 程序 是 在 一 个 按照 字典 序 排序 的 单词 表 中 查找 某 个 单词 的 二 分 查找 
方法 ,图 2-5 给 出 了 该 程序 的 控制 流 图 和 其 中 所 有 的 分 支 , 表 2-1 给 出 了 分 支 覆盖 的 测试 
用 例 。 
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int binsearch {char *word, struct key tab[]，int n) { 
int cond; 
int low, high, mid; 


Bl low = 0; 
high = n - 1; 
B2 while (low <= high} { 
B3 mid = (lowthigh) / 2 
if ((cond = strcmp (word, tab[mid] .wordj) < 0) 

B4 high = mid - 1; 
B5 else if {cond > 0) 
B6 low = mid + 1; 
B7 else 

return mid; 
B8 } 
B9 return -1; 


图 2-4 字典 序 的 单词 表 中 二 分 查找 


(B1)-—(B2)——(B3) (B84) ~(B8) BI->B2 B3>B4 B5>B6 B6->B8 


B2->B3 B3->B5 B5->B7 B8->B2 


(89) (65) (86) B2->B9  B4->B8 
@7) 


图 2-5 二 分 查找 程序 的 控制 流 图 及 其 中 所 有 分 支 


表 2-1 二 分 查找 程序 的 分 支 覆盖 测试 用 例 


测试 用 例 人 执行 过 的 分 支 (加 下 划 线 ) 预期 输出 
word tab 

1 | mp 0 Bl» B2» B9 = 
table” ed 
alf 
bert 
chas Bl» B2» B3» BA» Be» 

2 chas dick 过 B2» B3» B5» B6» B8» 2 
eddy B2» B3» B5» B7 
fred 
geoff 


习题 2.1.3 

分 支 覆 盖 可 以 做 到 语句 覆盖 ,反之 是 否 仍然 成 立 ? 

2.1.4 数据 流 测 试 (Data Flow Testing) 

数据 流 / 控 制 流 测 试 利 用 程序 的 数据 流 / 控 制 流 图 进行 测试 ,数据 流 / 控 制 流 图 是 将 程序 
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中 各 个 部 分 通过 数据 流 / 控 制 流连 接 起 来 而 构建 的 程序 的 交互 模型 。 在 程序 中 变量 的 出 现 
被 分 为 两 类 ,一 类 是 定义 , 另 一 类 是 使 用 。 如 果 一 个 变量 被 赋予 新 值 , 称 该 变量 被 定义 ; 变 
量 的 使 用 可 以 分 为 两 类 : 一 种 是 变量 出 现在 while…do… 或 让 …then…else… 等 分 支 语句 的 
谓词 部 分 ,这 种 使 用 称 为 谓词 使 用 (P-use); 另 一 种 是 变量 出 现在 赋值 语句 的 右边 ,或 者 出 
现在 输出 语句 中 ,这 类 使 用 称 为 计算 使 用 (C-use) 。 在 变量 定义 和 使 用 的 每 条 路 径 都 需要 设 
计 测 试用 例 来 执行 , 且 每 个 测试 用 例 应 该 包括 测试 输入 、 相 关 变 量 的 定义 和 使 用 对 的 位 置 、 
执行 的 控制 流 子路 径 、 预 期 输出 。 

在 数据 流 /控制 流 测试 中 ,覆盖 对 象 是 从 变量 的 定义 到 使 用 的 控制 流 子路 径 。 为 了 覆盖 
率 计算 的 需要 ,这 里 给 出 定义 引用 对 (Definition-use Pair) 的 概念 : 一 个 变量 的 定义 引用 对 
是 程序 控制 流 图 中 一 段 连接 该 变量 定义 和 使 用 的 一 条 简单 路 径 。 所 谓 简单 路 径 是 指 程序 控 
制 流 图 中 没有 不 必要 的 (元 余 ) 路 径 。 以 下 给 出 覆盖 准则 的 具体 定义 。 

。 所 有 定义 覆盖 (All-definitions) 设计 测试 用 例 并 执行 所 有 变量 定义 点 到 某 些 使 用 
点 (计算 使 用 或 者 谓词 使 用 ) 的 路 径 。 
所 有 计算 使 用 覆盖 (AlL-C-uses) ”设计 测试 用 例 并 执行 每 个 变量 定义 点 到 其 每 个 计 
算 使 用 点 的 路 径 。 
所 有 谓词 使 用 覆盖 (All-P-uses) ”设计 测试 用 例 并 执行 每 个 变量 定义 点 到 其 每 个 谓 
词 使 用 点 的 路 径 。 
所 有 使 用 覆盖 (All-uses) ”设计 测试 用 例 并 执行 每 个 变量 定义 点 到 其 每 个 使 用 点 
(计算 使 用 或 者 谓词 使 用 ) 的 路 径 。 
所 有 定义 使 用 对 覆盖 (All-du-paths) ”设计 测试 用 例 并 执行 所 有 变量 定义 点 到 每 个 
使 用 点 (计算 使 用 或 者 谓词 使 用 ) 的 路 径 。 
以 下 通过 一 个 简单 的 例子 说 明 各 个 概念 。 
例 2-1 图 2-6 列 出 的 是 一 个 求 平方 根 的 程序 。 


procedure Solve Quadratic{R，B，C: in Float; Is Complex: out -- 0 
Boolean; R1，R2: out Float) is 


-- I3_Complex is true if the roots are not real. 
-- If the two roots are real, they are produced in R1，R2. 


Discrim : Float := ByB — 4.0*A*C; == 入 
Rl, R2: Float; = 
begin = 
if Discrim < 0.0 then 一 披 

Is Complex := true; 一 海 

else 二 

Is Complex := false; 三 了 

end if; =-—@ 

if not Is Complex then we 

Rl := (-B + Sqrt(Discrim))/ (2.0*A}; —10 

R2 := (-B - Sqrt{Discrim))/ (2.0*A); —11 

end if; 一 过 
end Solve Quadratic; 一 13 


图 2-6 求 平方 根 程序 


表 2-2 中 列 出 了 这 个 程序 中 出 现 的 各 个 变量 ,给 出 了 各 个 变量 定义 的 位 置 .计算 使 用 和 
谓词 使 用 的 位 置 (代码 行 )。 
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表 2-2 求 平 方 根 程序 中 出 现 的 变量 及 其 分 类 


类 和 别 
行 
definition C-use P-use 
0 A,B,C 
1 Discrim A,B,C 
2 
3 
4 Discrim 
5 Is_Complex 
6 
7 Is_Complex 
8 
9 Is_Complex 
10 R1 A,B,Discrim 
11 R2 A,B,Discrim 
12 
13 


表 2-3 给 出 了 变量 的 定义 使 用 对 ,其 中 Rl1 和 R2 在 该 程序 中 无 法 给 出 定义 使 用 对 , 因 
为 它们 分 别 只 在 一 处 (在 第 10 行 和 第 11 行 ) 被 定义 。 
表 2-3 求 平方 根 程序 中 变量 的 定义 引用 对 


变 量 
定义 使 用 对 (起 始 行 一 终止 行 ) 
Cr-use P-use 
0 一 >1 A,B,C 
0 一 过 10 A,B 
0 一 >11 A,B 
=>4 Discrim 
->10 Discrim 
i—~>11 Discrim 
5—>9 Is_Complex 
9 一 -一 9 Is_Complex 


表 2-4 给 出 了 实现 100% 的 所 有 定义 获 盖 (All-definition) 所 需要 的 测试 用 例 ,其 中 一 个 
测试 用 例 可 以 覆盖 多 个 变量 的 定义 。 表 2-4 中 测试 用 例 1.2、3 都 是 一 样 的 。 表 2-4 一 表 2-7 
中 的 “unass. ”是 unassignment 的 缩写 ,表示 未 赋值 。 


表 2-4 所 有 定义 覆盖 (AlHdefinition) 测 试用 例 


All Definitions 输入 预期 输出 
测试 用 例 变量 du-pair subpath A|IB ,CIs Complex R1 R2 
1 A,B,C 0-—>1 0-1 外 让 于 ,中 潮 2 unass. unass. 
2 Discrim 1] 一 >4 1-4 玉川 潮 时 unass， unass. 
3 Is_Complex 5—>9 5-9 一 区 尖 睫 ， 于 unass. unass. 
4 Is_Complex 7—>9 7-9 区 PF = = 二 
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表 2-5 给 出 了 100% 的 计算 使 用 所 需要 的 测试 用 例 , 表 2-6 给 出 了 100% 的 谓词 使 用 所 
需要 的 测试 用 例 , 表 2-7 给 出 了 100% 的 所 有 使 用 覆 六 所 需要 的 测试 用 例 。 


表 2-5 所 有 计算 使 用 覆盖 (All-C-use) 测 试用 例 


All-C-uses 输入 预期 输出 
测试 用 例 变量 du-pair subpath A|IB ,CIs Complex R1 R2 
1 A,B,C 0—>1 0-1 | 区 | 县 十 unass. unass， 
2 A,B 0-—>10 | 0-1-4-7-9-10 第 中 浅川 温 F = 和 = 
3 A,B 0-->11 | 0-1-4-7-9-10-11 了 F -1 -1 
4 Discrim 1-->10 | 1-4-7-9-10 国医 动 莉 ， F 一 下 -= 
5 Discrim 1-->11 | 1-4-7-9-10-11 区, 芭 医 | F 一 1 一 1 
表 2-6 所 有 谓词 使 用 覆盖 (AIFP-use) 测 试用 例 
AlILP-uses 输入 预期 输出 
测试 用 例 变量 du-pair subpath | A | B | C Is Complex R1 R2 
8 Discrim 1-—>4 1-4 是 亚 unass. unass. 
2 Is_Complex 5 一 >9 5-9 让 unass. unass。 
3 Is_Complex 7 一 二 9 7-9 | F = et | 
表 2-7 所 有 使 用 覆盖 (All-use) 测 试用 例 
All-uses/All du-paths 输入 预期 输出 
测试 用 例 变量 du-pair subpath A|IB CIs Complex R1 R2 
1 A,B,C 0 一 二 1 0-1 1 了 划 | 且 TT unass. Unass， 
2 A,B 0-->10 | 0-1-4-7-9-10 1|2|1 F = = 
3 A,B 0-->11 | 0-1-4-7-9-10-11 1 | F 一 和 = 
4 Discrim 1 一 >4 1-4 业 川 .全 小 溃 T Unass. unass. 
5 Discrim 1-->10 | 1-4-7-9-10 1|2|1 F = = 
6 Discrim 1-—>11 1-4-7-9-10-11 | 区划 妥 F 一 1 = 
7 Is_Complex 5—>9 5-9 和 年 unass. Unass, 
8 Is_Complex 7—>9 7-9 本 时- 动 区 F ll -== 


虽然 所 有 定义 使 用 对 覆盖 标准 要 求 所 有 连接 变量 定义 和 使 用 的 路 径 必 须 都 要 被 覆盖 ， 
其 实 有 些 路 径 是 不 可 行 的 ,例如 ,0-1-4-5-9-10 和 1-4-5-9-10。 


习题 2.1.4 
数据 流 覆盖 具有 哪 几 个 覆盖 准则 ? 它们 之 间 的 关系 如 何 ? 
2.1.5 条 件 覆 盖 测 试 (Condition Coverage Testing ) 


用 图 2-7 给 出 的 简单 例子 说 明 各 种 条 件 测试 的 标准 和 相互 之 间 的 关系 。 
条 件 覆 盖 测 试 是 指 设计 测试 用 例 ,让 判定 语句 中 的 每 个 条 件 变 量 的 真 假 值 都 能 取 到 。 
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if A or (B and cl then ” 表 2-8 给 出 了 一 个 条 件 覆 盖 测 试用 例 , 注 意 到 在 这 两 个 测试 用 例 
nna 中 ,每 个 条 件 的 真 假 值 都 出 现 过 一 次 。 条 件 覆 盖 测 试 不 能 保证 
do_something_else; 分 支 或 者 决策 覆盖 , 表 2-9 给 出 的 一 组 条 件 覆 盖 测 试用 例 就 只 能 


else 


end if; 
a 覆盖 判定 的 真 值 部 分 , 假 值 分 支 覆 盖 不 了 ,因此 有 必要 增加 下 一 
个 覆盖 标准 , 即 分 支 条件 覆 盖 。 
表 2-8 条 件 覆盖 测试 用 例 集 表 2-9 只 覆盖 真 值 分 支 的 条 件 覆盖 测试 用 例 集 

测试 用 例 A B C 测试 用 例 A B C 

1 False False False El True False False 

2 True True True 2 False True True 

习题 2.1.5 


条 件 覆 盖 是 否 可 以 做 到 分 支 覆 盖 ? 
2.1.6 分 支 条 件 覆 盖 测 试 (Branch Condition Testing) 


设计 测试 用 例 不 仅 让 判定 语句 中 的 每 个 条 件 变 量 的 真 假 值 都 取 到 ,而 且 让 判定 语句 取 
到 真 假 值 。 实 际 上 表 2-8 中 两 条 测试 用 例 就 是 一 组 分 支 条 件 覆盖 测试 用 例 , 它 们 既 保 证 每 
个 变量 的 真 假 值 都 出 现 一 次 ,又 能 保证 判定 语句 分 别 取 真 值 和 假 值 。 
分 支 条 件 覆 盖 既 考虑 了 分 支 覆 盖 , 又 考虑 了 条 件 材 盖 , 是 一 种 强 于 分 支 材 盖 和 条 件 覆 盖 
的 测试 方法 。 但 分 支 覆 盖 与 条 件 覆 盖 之 间 不 具有 可 比 性 ,因为 分 支 覆盖 不 一 定 就 能 条 件 覆 
盖 ,而 反之 ,条 件 覆 盖 不 一 定 能 做 到 分 支 覆 盖 。 例 如 ,2. 1. 5 小 节 中 的 表 2-9 是 一 个 条 件 覆 
盖 测 试用 例 集 ,但 该 测试 用 例 集 只 能 覆盖 真 值 分 支 。 在 表 2-10 中 给 出 的 测试 用 例 虽然 能 做 
到 分 支 覆 盖 , 但 却 不 能 做 到 条 件 覆 盖 。 
表 2-10 没有 达到 条 件 覆盖 的 分 支 覆盖 测试 用 例 集 


测试 用 例 A B C 
1 False False False 
2 True False False 


条 件 覆 盖 只 是 让 每 个 条 件 的 真 假 值 在 测试 用 例 中 出 现 一 次 ,而 不 同 条 件 真 假 值 之 间 相 
互 作用 无 法 检测 ,因此 有 必要 设计 测试 用 例 来 覆盖 各 个 条 件 之 间 各 种 可 能 的 取 值 组 合 , 称 之 
为 条 件 组 合 覆 盖 。 


习题 2.1.6 
分 支 条 件 覆 盖 与 分 支 覆 盖 和 条 件 覆 盖 是 否 具 有 强 弱 关系 ? 
2.1.7 条 件 组 合 覆盖 测试 (Branch Condition Combination Testing ) 


设计 测试 用 例 让 判定 语句 中 的 每 个 条 件 变量 的 真 假 值 组 合 情 况 都 可 执行 到 。 表 2-11 
列 出 了 满足 图 2-7 中 程序 例子 的 条 件 组 合 测试 用 例 。 判 定语 句 中 涉及 3 个 布尔 变量 ,组 合 
起 来 有 8 条 测试 用 例 。 条 件 组 合 测试 是 最 彻底 的 测试 ,n 个 条 件 变量 就 需要 2” 个 测试 用 
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例 ,这 在 变量 多 的 情况 下 ,测试 代价 将 会 非常 高 。 
表 2-11 条 件 组 合 覆盖 测试 用 例 集 


测试 用 例 A B 玫 
1 False False False 
2 True False False 
3 False True False 
4 False False True 
5 True True False 
6 False True True 
7 True False True 
8 True True True 


条 件 组 合 覆 盖 一 定 强 于 分 支 条 件 覆 盖 , 因 为 条 件 组 合 覆盖 已 经 覆盖 了 各 个 条 件 之 间 的 
所 有 可 能 组 合 ,自然 也 就 包含 了 这 些 条 件 形 成 的 所 有 可 能 的 判定 所 对 应 的 真 假 值 分 支 。 作 
为 最 强 的 测试 覆盖 ,条件 组 合 测试 需要 的 测试 用 例 随 着 条 件 个 数 ”的 增长 呈 指 数 速度 2" 增 
长 , 当 宛 很 大 时 ,测试 成 本 几乎 无 法 承受 。 因 此 ,在 下 一 节 介 绍 一 种 几乎 等 效 的 ,但 成 本 却 非 
常 小 的 测试 覆盖 准则 。 


习题 2.1.7 
条 件 组 合 测试 的 优 缺 点 分 别 是 什么 ? 


2.1.8 修改 决策 条 件 测 试 (Modified Condition Decision 
Coverage Testing) 


设计 测试 用 例 , 让 每 个 条 件 变量 独立 改变 判定 语句 的 真 假 值 。 这 种 测试 方法 的 优点 
是 : 保证 每 个 变量 真 假 值 出 现 一 次 ; 整个 判定 表达 式 出 现 真 假 值 ; 让 每 个 变量 独立 影响 
判定 表达 式 的 真 假 值 ; 测试 用 例 最 好 的 情况 下 规模 为 xz 十 1, 最 差 情 况 下 规模 为 2"。 相 对 
于 条 件 组 合 覆 盖 需 要 2" 条 测试 用 例 ,修改 决策 条 件 测试 (MC/DC) 是 最 实用 的 一 种 测试 
方法 。 

例如 ,针对 图 2-7 中 的 程序 例子 , 表 2-12 给 出 了 两 条 测试 用 例 Al 和 A2 ,它们 让 条 件 A 
独立 改变 判定 表达 式 的 值 ; 表 2-13 给 出 了 两 条 测试 用 例 Bl 和 B2 ,它们 让 条 件 B 独立 改变 
判定 表达 式 的 值 ; 表 2-14 给 出 了 两 条 测试 用 例 Cl 和 C2 ,它们 让 条 件 C 独立 改变 判定 表达 
式 的 值 。 表 2-12、 表 2-13 和 表 2-14 中 的 测试 用 例 合 起 来 就 是 表 2-15, 因 为 Al 和 Bl 相同， 
B2 和 C1l 相同 。 

表 2-12 条 件 A 独立 改变 判定 表达 式 的 值 


Al False False True False 
A2 True False True True 
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表 2-13 条 件 B 独立 改变 判定 表达 式 的 值 


测试 用 例 A B [ 输出 
Bl False False True False 
B2 False True True True 


表 2-14 条 件 C 独立 改变 判定 表达 式 的 值 


测试 用 例 A B C 输出 
Cl False True True True 
C2 False True False False 


表 2-15 修改 决策 条 件 测试 用 例 集 


测试 用 例 A B C 输出 
1(Al1,B1) False False True False 
2(A2) True False True True 
3(B2,C1) False True True True 
4(C2) False True False False 
习题 2.1.8 


修改 决策 条 件 测试 具有 哪些 优点 ? 
2.1.9 路径 覆 盖 测试 (Path Testing) 


路 径 测 试 就 是 设计 足够 的 测试 用 例 , 获 盖 程 序 中 所 有 可 能 的 路 径 。 以 图 2-8 为 例 , 则 可 
以 选择 如 表 2-16 所 示 的 一 组 测试 用 例 来 覆盖 该 程序 段 的 全 部 路 径 。 
路 径 覆 盖 测 试 方法 的 成 本 非常 高 ,因为 在 一 些 


6 E> 。 程序 中 路 径 的 总 数 非常 大 ,甚至 是 无 穷 的 。 有 一 种 
路 径 测试 的 简化 方法 叫 基本 路 径 测试 ,该 方法 是 在 
Xx-XA | 程序 控制 流 图 的 基础 上 ,通过 分 析 控制 构造 的 环境 
t i〗 复杂 性 ,导出 一 组 最 少 的 基本 可 执行 路 径 集合 ,这 些 
oe 本 基本 路 径 之 间 不 能 互相 包含 ,任何 一 条 路 径 要 包含 
> 一 个 独立 的 部 分 ,这 个 独立 部 分 在 其 他 路 径 中 都 不 
x=X+1 |] 包含 。 然 后 根据 这 些 基本 路 径 来 设计 测试 用 例 , 设 
计 出 的 测试 用 例 要 保证 在 测试 中 程序 的 每 一 个 可 执 
| 行 语句 至 少 执行 一 次 。 如 图 2-8 所 示 的 路 径 ace 和 

图 2-8 示例 程序 abd 就 是 该 示例 程序 的 两 条 基本 路 径 。 
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表 2-16 路 径 覆盖 测试 用 例 集 


测试 用 例 通过 路 径 覆盖 条 件 
KC2,0,4),(2,0,3)) ace A>1 B=0 A=2 X>1 
【(2,1,1),(2,1,2)】 abd A>1 Bz0 Az2 X<1 
【(1,0,3),(1,0,4)】 abe A>1 Bz0 A=2 X>1 
【C3,0,3),(3,0,1)) acd A>1 B=0 Az2 X<1 

习题 2.1.9 


什么 叫 基 本 路 径 驯 盖 ? 它 与 路 径 徐 盖 的 区 别 是 什么 ? 
2.1.10 ”线性 代码 序列 跳 转 测试 (LCSAJ Testing) 


线性 代码 序列 跳 转 测试 主要 关注 程序 控制 流 的 跳 转 。 一 个 线性 代码 序列 跳 转 表示 为 一 
个 三 元 组 ; 线性 代码 起 点 行 数 s、 线 性 代码 终点 行 数 e 和 控制 流 跳 转 点 的 代码 行 数 j, 即 (s， 
e,j)。 测 试用 例 用 来 执行 覆盖 每 个 线性 代码 序列 跳 转 , 每 个 测试 用 例 可 以 描述 为 三 个 部 分 : 
测试 输入 ,被 该 测试 用 例 执行 的 线性 代码 序列 跳 转 .预期 输出 。 由 于 线性 代码 序列 跳 转 测试 
的 对 象 是 线性 代码 序列 跳 转 ,因此 线性 代码 序列 跳 转 测试 的 覆盖 率 度 量 为 


LCSAJ 


执行 过 的 线性 代码 序列 跳 转 个 数 
所 有 的 线性 代码 序列 跳 转 个 数 


x 100% 


以 下 通过 判断 一 个 整数 是 否 是 素数 的 BASIC 程序 例子 (如 图 2-9 所 示 ) 来 说 明 线 性 代 
码 序列 跳 转 测试 的 有 关 概 念 和 方法 。 图 2-10 列 出 了 图 2-9 中 程序 所 包含 的 线性 代码 序列 


跳 转 及 相应 的 条 件 。 


1 
2 
3 
4 
5 
6 
时 
8 
3 
10 
11 
12 
13 
14 
15 


READ (Num) 
WHILE NOT End of File DO 


Prime := TRUE; 
FOR Factor := 2 TO Num DIV 2 DO 
IF Num - (Num DIV Factor)*Factor = 0 THEN 
WRITE (Factor, ' is a factor of', Num); 
Prime := FALSE; 
ENDIF; 
ENDFOR; 
IF Prime = TRUE THEN 
WRITE {Num, ' is prime’); 
ENDIF; 
READ {Num); 


ENDWHILE; 
WRITE ('End of prime number program'); 


2-9 素数 判断 程序 


例 2-2 判断 一 个 整数 是 否 是 素数 。 

首先 设计 一 个 测试 用 例如 表 2-17 所 示 ,该 测试 用 例 输入 3 个 数 : 5.6 和 2。 执行 这 个 测 
试用 例 之 后 , 表 2-18 列 出 了 各 个 线性 代码 序列 跳 转 的 执行 情况 。 可 以 发 现 很 多 线性 代码 序 
列 跳 转 还 没有 被 执行 ,需要 补充 一 些 测试 用 例 。 
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(2->3) : requires NOT End of File 
(2->15) :Jump requires End of File 
(4->5) : Tequires the loop to execute, i.e. Num DIV 2 is greater than or equal to 2 


(4->10) :Jump requires the loop to be a zero-trip, i.e. Num DIV 2 is less than 2 
(5>0) : requires the 下 statement on line 5 to be tme 
(5->9) :Jump requires the IF statement on line 5 to be false 
(9->5) :Jump requires a further iteration of the FOR loop to take place 
(9->10) : Tequires the FOR loop to have exhausted 
(10>1D) : Tequires Prime to be true 
(10->13) : Jump requires Prime to be false 
(14->2) :Jump mustalways take place 
图 2-10 程序 中 包含 的 线性 代码 序列 跳 转 及 相应 的 条 件 


表 2-17 第 一 个 测试 用 例 


测试 用 例 输 入 期 望 输出 
5 5 is prime 
2 is a factor of 6 
1 3 is a factor of 6 
2 is prime 
2 End of prime number program 
表 2-18 各 个 线性 代码 序列 跳 转 的 执行 情况 
LCSAJ 
起 始 行 终 止 行 跳 转 到 行 执行 次 数 

1 2 15 0 x 
1 4 10 0 x%% 
1 5 9 1 
1 9 5 0 xx% 
1 10 13 0 x%% 
1 14 2 0 xx% 
2 2 15 1 
2 4 10 | 
2 5 9 0 xx% 
2 9 5 1 
2 10 13 0 xx% 
2 14 2 0 x 
5 5 9 0 x% 
5 9 5 0 #%% 
5 10 13 1 
5 14 2 0 x% 
9 9 5 0 x%% 
9 10 13 0 关 关 关 
9 14 2 
10 10 13 0 xx¥ 


第 2 章 ”和 白 盒 测试 和 黑 盒 测试 


续 表 
起 始 行 终 止 行 跳 转 到 行 执行 次 数 
10 14 2 1 
13 14 2 1 
15 15 exit 1 
LCSAJ 的 数量 23 
已 执行 数量 9 
未 执行 的 数量 14 
LCSAJ 的 覆盖 率 39% 


图 2-11 给 出 了 各 个 未 被 执行 的 线性 代码 序列 跳 转 及 其 需要 满足 的 执行 条 件 ,根据 这 个 
条 件 , 可 以 设计 如 表 2-19 所 示 的 测试 用 例 。 另 外 ,执行 了 代码 行 7 就 无 法 执行 代码 行 11, 因 
此 线性 代码 序列 跳 转 (1,14,2)、(2,14,2)、(5,14,2) 是 不 可 能 的 。(10,10,13) 也 是 不 可 能 的 
线性 代码 序列 跳 转 , 因 为 这 个 跳 转 需要 语句 行 10 的 执行 结果 是 prime= false, 而 该 线性 代 
码 序列 跳 转 的 起 点 是 语句 10, 之 前 必须 是 从 语句 4 跳 转 而 来 (如 果 从 语句 9 过 来 , 则 矛盾 )， 
从 语句 4 跳 转 过 来 ,意味 着 语句 3 一 定 已 经 被 执行 , 即 prime 一 true 已 被 赋值 ,所 以 此 时 执 
行 语句 10 ,一 定 不 会 从 语句 10 跳 转 到 语句 13 。 


LCSAJ Comments 
《1,2, 15) A new test is needed with no data, so the End of File is found immediately. 
(1, 4, 10) A new test is needed with a number less than 4 as first in the list. 
《1,9, 5) A new test is needed with an even number greater than 5 as first in the list. 
{1,10,13) A new test is needed with the number 4 as first im the list. 
《2. 5, 9) This will be executed with an odd mumber greater than 4 which is not the first in the list. 
《2. 10, 13) This will be executed with the number 4 which is not the first in the list. 
3, 5. This will be executed by a number greater than 6. 
(5.9, 5) This will be executed by an odd non-prime nmnber greater than 7. 
(9, 9, 5) This will be executed by a number greater than 7. 
《9. 10. 13) This will be executed by an odd non-prime nmmber greater than 8. 
图 2-11 各 个 未 被 执行 的 线性 代码 序列 跳 转 及 其 需要 满足 的 执行 条 件 
表 2-19 新 设计 的 测试 用 例 
测试 用 例 输 入 预期 输出 已 执行 LCSAJS 
2 =none> End of prime number program (1,2,15) 
2 2 is prime (1,4,10) 
3 4 2 is a factor of 4 (2,10,13) 
End of prime number program 
2 is a factor of 8 (1,9,5) 
4 8 4 is a factor of 8 (5,5,9) 
End of prime number program 
4 2 is a factor of 4 (1,10,13) 
(2,5,9) 
: 时 eae Gy 
(9,10,13) 
End of prime number program 
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习题 2.1.10 


线性 代码 序列 跳 转 测试 与 分 支 覆 盖 的 区 别 是 什么 ? 
2.1.11 小 结 


前 面 介绍 了 10 种 白 盒 动态 测试 方法 ,这 10 种 方法 之 间 既 有 着 密切 的 关系 ,又 有 很 大 的 
区 别 。 路 径 测试 (All Paths) 和 分 支 条 件 组 合 方法 (BCC) 是 两 种 最 强 的 测试 方法 ,但 它们 之 
间 不 存在 相互 包含 关系 。 图 2-12 中 箭头 连接 的 两 种 方法 之 间 存 在 相互 包含 关系 ,例如 ， 
BCC 包含 MCDC, 即 BCC 测试 之 后 ,一 定 满足 MCDC 的 测试 要 求 , 反 之 ,不 一 定 。 


All Paths 


B -~ Branch Coverage/Decision Coverage 
BC - Branch Condition Coverage 


BCC - Branch Condition Combination Coverage 
DCU - All-C-uses Coverage 
DPU - All-P-uses Coverage 


DU - All- du-paths Coverage 

L -~ LCSAJ Coverage 

MCDC - Modified Condition Decision Coverage 
S - Statement Coverage 


图 2-12 各 种 白 盒 测 试 方法 相互 关系 


习题 2.1.11 


1. 用 C 语言 设计 一 个 三 角形 分 类 程序 ,输入 3 个 正 数 表示 三 角形 三 条 边 的 长 度 , 判 断 
该 三 角形 是 等 边 三 角形 .等 腰 三 角形 还 是 普通 三 角形 或 不 是 三 角形 。 设 计 测试 用 例 覆 盖 该 
程序 的 每 个 分 支 。 

2. 用 C 语言 编写 一 个 可 以 输出 两 个 整数 的 最 大 公 因 数 的 程序 ,例如 ,输入 两 个 正 整数 
16 和 36 ,程序 可 以 给 出 它们 的 最 大 公 因 数 是 4。 设计 测试 用 例 覆 盖 该 程序 中 所 有 语句 。 


C3 黑 盒 测试 (Black Box Testing) 


1. 概念 


所 谓 黑 盒 测 试 是 指 把 待 测试 程序 或 软件 系统 看 成 一 个 无 法 打开 的 “黑匣子 ”( 如 图 2-13 
所 示 ) ,在 完全 不 知道 程序 的 内 部 结构 和 处 理 过 程 的 前 提 下 ,在 程序 接口 进行 的 测试 。 它 只 
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检查 程序 功能 是 否 能 按照 规格 说 明 书 的 规定 正常 使 用 ,程序 是 否 能 适当 地 接受 输入 数据 并 
产生 正确 的 输出 信息 ,并 且 保 持 外 部 信息 的 完整 性 。 因 此 , 黑 盒 测试 又 称 为 功能 测试 或 数据 
驱动 的 测试 。 


图 2-13 黑 盒 测 试 示意 图 


黑 盒 测试 还 包括 非 功 能 性 测试 ,例如 性 能 测试 ,检查 软件 各 项 功能 的 性 能 是 否 达到 相应 
的 指标 ; 强度 测试 ,检查 软件 在 各 种 极端 条 件 下 是 否 可 以 正常 工作 。 还 有 安全 性 测试 .安装 
与 印 载 测 试 .配置 测试 .兼容 性 测试 .故障 修复 测试 .可 使 用 性 测试 和 帮助 测试 等 都 可 以 归 为 
非 功能 性 的 黑 盒 测试 。 

黑 盒 测 试 也 分 静态 和 动态 。 静 态 黑 盒 测试 是 指 对 软件 规格 说 明 书 的 审查 , 它 不 执行 软 
件 。 动 态 黑 盒 测试 是 运行 待 测试 软件 ,检查 其 功能 的 正确 性 和 完整 性 等 。 所 有 的 测试 可 以 
根据 是 否 执行 程序 ,是 否 理解 内 部 实现 分 成 如 下 类 型 (如 表 2-20 所 示 ) 。 


表 2-20 ”测试 按照 是 否 执行 及 是 否 依据 内 部 结构 进行 的 分 类 
黑 盒 测试 : 基于 规格 说 ” 灰 盒 测试 : 结合 代码 实现 和 和 白 盒 测试 : 基于 程序 


明 的 测试 规格 说 明 的 测试 代码 和 实现 的 测试 
静态 测试 : 不 执行 程序 ”静态 - 黑 盒 : 规格 说 明 ”静态 - 灰 盒 : 同时 审查 规格 静态 - 白 盒 : 代码 审 
文档 审查 说 明和 相应 的 代码 实现 查 、 走 查 等 


动态 测试 : 执行 程序 动态 - 黑 盒 : 根据 规格 动态 - 灰 盒 : 结合 代码 实现 ”动态 - 白 盒 : 运行 程 
说 明 设计 并 运行 测试 。 和 规格 说 明 设计 并 运行 测试 ” 序 , 实 现 结构 覆盖 


2. 目标 


黑 盒 测试 主要 为 发 现 以 下 几 类 错 

(1) 检查 程序 功能 是 否 按照 haa 书 正常 使 用 ? 是 否 有 不 正确 和 遗漏 的 
功能 ? 

(2) 检查 人 机 交互 是 否 错误 ? 输入 是 否 被 正确 接受 ? 是 否 输出 正确 的 结果 ? 

(3) 是 否 有 数据 结构 错误 或 外 部 信息 访问 错误 ? 

(4) 检测 软件 运行 性 能 上 是 否 满足 要 求 ? 

(5) 是 否 存 在 初始 化 或 终止 性 错误 ? 


39 


软件 测试 的 概念 与 方法 


3. 原理 


对 软件 进行 黑 盒 测试 ,测试 者 并 不 知道 被 测试 对 象 的 内 部 是 如 何 构造 以 及 如 何 工作 的 ， 
只 基于 所 知 的 系统 需求 来 实施 测试 。 根 据 黑 盒 测试 的 概念 ,我 们 可知 , 黑 盒 测试 并 不 只 是 一 
种 测试 技术 ,而 是 一 类 不 需要 知道 内 部 设计 或 代码 信息 的 测试 技术 总 称 。 

黑 盒 测试 不 是 用 来 蔡 代 白 盒 测 试 等 其 他 测试 方法 ,而 是 用 来 作为 这 些 测试 方法 的 补充 。 
黑 盒 测试 不 仅 是 功能 测试 ,还 包含 非 功 能 性 测试 ,注重 测试 软件 的 功能 性 及 非 功 能 性 需求 ， 
需要 根据 软件 规格 说 明 书 ,利用 等 价 类 划分 方法 、 边 界 值 分 析 方法 、 因 果 图 分 析 方 法 、 状 
态 转 换 图 和 错误 猜测 等 方法 为 测试 程序 生成 各 种 测试 输入 ,检测 程序 所 有 功能 及 非 功 能 
性 需求 。 

黑 盒 测试 一 般 由 有 经 验 的 软件 测试 人 员 在 验收 测试 和 系统 测试 等 软件 测试 阶段 进 
行 。 检 查 软 件 系统 的 功能 是 否 被 正确 实现 ,如 界面 是 否 正确 、 外 部 数据 库 访问 是 否 有 问 
题 .性 能 是 否 符合 要 求 、 系 统 初 始 化 和 终止 是 否 有 问题 等 ; 检查 系统 实现 是 否 有 功能 遗 
漏 等 。 


4. 方法 


通过 认真 阅读 和 检查 软件 规格 说 明 书 ,一 方面 发 现 规格 说 明 书 中 可 能 存在 的 问题 , 另 一 
方面 在 充分 理解 规格 说 明 书 的 基础 上 ,对 软件 输入 进行 等 价 类 划分 和 边界 值 分 析 ,构建 因 果 
图 ,状态 转换 图 以 及 输入 语法 等 ,并 对 系统 进行 适当 的 错误 猜测 ,从 而 进行 如 下 测试 ( 黑 盒 测 
试 方法 流程 如 图 2-14 所 示 ) 。 


a 边界 值 分 析 
高 层 设计 是 | 因果 图 分 析 | 。 股 计 开 质 条 
详细 设计 错误 猪 测 法 | = | 测试 用 例 测试 结束 
程序 规格 状态 转换 图 | 。 | 收集 结 


说 明 等 


随机 测试 方法 


检查 规格 说 明 


图 2-14 黑 盒 测试 方法 的 流程 图 


对 软件 进行 黑 盒 测试 ,一 定 要 结合 被 测试 软件 的 特点 ,选择 性 地 使 用 以 上 方法 ,并 将 它 
们 有 机 地 结合 起 来 。 例 如 ,按照 待 测试 软件 的 输入 输出 条 件 进行 等 价 类 划分 ,通过 在 等 价 
类 中 选择 测试 用 例 ,可 以 首先 将 无 限 的 测试 域 变 为 有 限 ,同时 等 价 类 划分 也 是 边界 值 分 
析 方 法 的 基础 。 应 用 边界 值 分 析 可 以 找 出 一 些 容 易 发 现 错误 的 测试 输入 ,这 一 点 在 人 们 
在 实践 中 经 常 得 到 验证 。 应 用 错误 猜测 方法 ,结合 测试 人 员 的 直觉 和 经 验 选择 一 些 测试 
用 例 可 以 作为 重要 的 补充 。 如 果 软 件 的 功能 规格 说 明 中 含有 输入 条 件 的 组 合 情 况 ,就 应 
使 用 因果 图 分 析 方 法 ; 如 果 其 中 有 非常 明显 的 状态 转换 特征 ,就 应 采用 状态 转换 测试 方 
法 (如 表 2-21 所 示 ) 。 
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表 2-21 各 种 黑 盒 测试 方法 的 对 比 


等 价 类 划分 。 边界 值 分 析 因果 图 分 析 ”错误 猜测 法 ”状态 转换 图 语法 测试 方法 ”随机 测试 方法 
适用 ”测试 空间 无 测试 输入 有 ”软件 条 件 间 ”任何 场景 软件 状态 特 在 对 输入 进 ”任何 场景 


场景 ” 限 大 明确 范围 存在 关系 补充 方法 征明 显 行 确认 时 发 ”补充 方法 
现 不 足 之 处 
适用 ”选择 有 限 测 试 发 现 边界 上 ”发 现 输入 条 建立 可 能 的 ”发 现状 态 转 发 现 不 识别 、 发 现 意 料 之 外 
目的 ”用 例 充分 测试 ， 的 问题 件 之 间 关系 ”错误 检查 表 换 中 可 能 出 不 正确 的 输入 的 错误 ,无 任 
避免 元 余 上 的 问题 现 的 问题 何 技 术 要 求 


使 用 ”在 等 效 的 测试 实践 反复 证 “将 需求 规格 ”测试 人 员 的 ”采用 状态 转 ”基于 输入 接 ”随机 生成 测试 
原理 ”用 例 集合 中 选 明 : 边界 值 ” ”说明书 转化 ”经 验 和 直觉 ” 换 图 来 描述 ”口语 法 变异 输入 
择 代表 容易 发 现 为 决策 表 的 ”是 有 价值 的 ”软件 运行 ， 产 生 测 试 
问题 系统 化 方法 进行 图 测试 ”用 例 


很 多 种 测试 方法 都 可 划分 为 黑 盒 测试 ,例如 ,组 合 测试 .统计 测试 .基于 模型 的 测试 和 基 
于 性 质 的 软件 测试 方法 。 


5. 实例 


黑 盒 测试 面临 的 问题 与 白 仗 测 试 一 样 那 就 是 它 有 一 个 庞大 的 可 用 测试 用 例 。 例 如 ,在 
三 角形 分 类 程序 中 ,需要 3 个 整数 型 的 输入 数据 ,如 果 计 算 机 字 长 为 16 位 , 则 每 个 整数 可 能 
取 的 值 有 2 个 ,3 个 输入 数据 的 各 种 可 能 值 的 排列 组 合共 有 ， 

21 X21 x 2% = 2% 2 3 X 10* (种 ) 

也 就 是 说 ,大 约 需要 把 这 个 程序 执行 3X10 次 才能 做 到 “穷尽 "测试 。 假 定 每 执行 一 次 
程序 需要 lms, 执 行 这 么 多 次 大 约 需要 1 万 年 不仅 测试 时 间 长 得 叫 人 不 可 思议 ,测试 得 出 
的 输出 数据 更 是 多 得 完全 无 法 分 析 。 黑 盒 测试 就 是 研究 如 何在 庞大 的 可 用 测试 空间 中 选择 
少量 的 测试 用 例 ,进行 科学 而 有 效 的 测试 。 


6. 优 缺 点 


现在 软件 越 来 越 复杂 ,功能 越 来 越 强 , 了 解 软件 实现 细节 越 来 越 难 。 黑 盒 测 试 不 需要 具 
体 的 编程 语言 细节 ,可 以 将 测试 工程 师 的 精力 主要 集中 在 根据 功能 需求 来 设计 测试 用 例 , 验 
证 软件 是 否 按照 预期 要 求 工 作 。 黑 盒 测 试 不 要 求 软件 测试 人 员 人 掌握 关于 软件 实现 的 任何 知 
识 , 甚 至 可 以 不 会 编程 语言 。 

由 于 黑 盒 测 试 技术 不 需要 源 代码 ,在 源 代码 无 法 得 到 或 者 源 代 码 很 复杂 、 难 以 阅读 的 情 
况 下 , 黑 盒 测试 技术 仍 可 以 进行 有 效 的 测试 。 黑 盒 测试 针对 最 终 用 户 的 观点 来 执行 ,一 般 是 
公平 的 ,因为 测试 人 员 和 开发 人 员 相 互 独立 。 

功能 性 与 软件 如 何 实现 无 关 , 因 此 如 果实 现 发 生变 化 , 黑 盒 测 试用 例 仍 然 有 用 。 而 且 黑 
盒 测试 用 例 与 软件 开发 实现 可 以 并 行进 行 ,一 旦 功能 性 规格 说 明 完成 ,测试 人 员 就 可 以 设计 
测试 用 例 , 而 开发 人 员 则 可 以 根据 规格 说 明 开始 编程 实现 ,可 以 有 效 压缩 总 的 项 目 开 发 时 
间 。 黑 盒 测 试 有 助 于 识别 功能 性 规格 说 明 中 含糊 、 矛 盾 的 部 分 。 

黑 盒 测 试 不 能 保证 代码 和 路 径 等 结构 覆盖 率 ,可 能 有 些 代 码 和 路 径 等 结构 无 法 得 到 测 
试 ,不 能 直接 对 可 能 隐藏 了 许多 问题 的 特定 程序 段 进行 测试 ; 在 没有 清晰 、 准 确 的 规格 说 明 
时 ,难以 设计 恰当 的 测试 用 例 ,甚至 有 些 错误 无 法 发 现 ,形成 一 些 软件 漏洞 。 黑 盒 测 试 的 测 
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试用 例 之 间 往 往 存在 一 些 元 余 。 
习题 2.2 


1. 黑 盒 测试 有 哪些 具体 的 方法 ,这 些 方法 之 间 有 什么 互补 关系 ? 
2. 每 种 黑 盒 测试 方法 都 有 各 自 的 特点 ,如 何 有 效 地 综合 使 用 各 种 黑 盒 测试 方法 ? 
3. 黑 盒 测试 方法 有 哪些 优点 和 不 足 ? 


2.2.1 等 价 类 划分 (Equivalence Class Partition) 
1. 概念 


等 价 类 是 指 某 个 输入 域 的 集合 ,在 这 个 集合 中 每 个 输入 条 件 都 是 等 效 的 。 等 价 类 划分 
法 认为 : 如 果 使 用 等 价 类 中 一 个 条 件 作为 测试 数据 进行 测试 不 能 发 现 程序 的 缺陷 ,那么 使 
用 等 价 类 中 的 其 他 条 件 进 行 测试 也 不 会 发 现 错误 。 等 价 类 划分 法 是 一 种 典型 的 黑 盒 测 试 方 
法 , 它 完全 不 考虑 程序 的 内 部 结构 ,只 根据 需求 规格 说 明 书 对 输入 范围 进行 划分 ,把 所 有 可 
能 的 输入 数据 , 即 程序 输入 域 划分 为 若干 个 互 不 相交 的 子 集 , 称 为 等 价 类 ,然后 从 等 价 类 中 
选取 少数 具有 代表 性 的 数据 作为 测试 用 例 进 行 测试 。 


2. 目标 


待 测试 软件 的 输入 空间 太 大 , 穷 举 测试 无 法 进行 ,只 能 在 巨大 的 可 能 数据 空间 中 选择 很 
少 一 部 分 进行 测试 。 使 用 等 价 类 划分 方法 作为 功能 性 测试 的 测试 用 例 选 择 方法 ,目标 有 两 
个 : 希望 进行 完备 的 测试 ,同时 又 希望 避免 元 余 。 


3. 方法 


在 使 用 等 价 类 划分 方法 进行 测试 时 ,首先 应 在 分 析 需 求 规格 说 明 的 基础 上 划分 等 价 类 ， 
再 根据 等 价 类 设计 出 测试 用 例 。 如 何 确定 等 价 类 ,是 等 价 类 划分 方法 的 一 个 重要 问题 。 以 
下 给 出 几 条 确定 等 价 类 的 原则 : 

(1) 按 区 间 划 分 。 如 果 规 格 说 明 规定 了 输入 条 件 的 取 值 范围 或 值 的 数量 , 则 可 以 确定 
一 个 有 效 等 价 类 和 两 个 无 效 等 价 类 。 例 如 ,如 果 软 件 规格 说 明 “ 学 生 允 许 选 修 5 到 8 门 课 ”， 
则 一 个 有 效 等 价 类 可 取 “ 选 课 5 到 8 门 ”, 无 效 等 价 类 可 取 “ 选 课 不 足 5 门 ”" 和 “选课 超过 
Sd 

(2) 如 果 输入 条 件 规定 了 输入 数据 的 一 组 可 能 的 值 , 而 且 程序 是 以 不 同 的 方式 来 处 理 
每 一 种 值 , 则 可 将 每 一 种 值 划分 为 一 个 有 效 等 价 类 ,并 划分 一 个 无 效 等 价 类 。 例 如 ,程序 输 
入 x 取 值 为 枚 举 类 型 {2,4,6,8), 且 程序 中 对 这 4 个 数值 分 别 进行 了 处 理 , 则 有 效 等 价 类 为 
X 一 2,x 一 4,x 一 6,x 一 8 ,无 效 等 价 类 为 x 隆 2,4,6,8。 

(3) 按照 数值 集合 划分 。 在 输入 条 件 规定 了 输入 集合 或 规定 了 “必须 如 何 ” 的 条 件 下 ， 
可 以 确定 一 个 有 效 等 价 类 和 一 个 无 效 等 价 类 (该 集合 有 效 字 值 之 外 )。 例 如 ,程序 输入 条 件 
为 正 的 奇数 , 则 有 效 等 价 类 为 正 奇数 ,无 效 等 价 类 为 其 他 数 。 

(4) 按照 限制 条 件 或 规则 划分 。 在 规定 了 输入 数据 必须 遵守 的 规则 或 限制 条 件 下 ,可 
确定 一 个 有 效 等 价 类 (符合 规则 ) 和 若干 个 无 效 等 价 类 (从 不 同 角度 违反 规则 )。 例 如 ,程序 
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输入 条 件 为 以 字符 a 开头 .长 度 为 8 的 字符 串 ,并 且 字 符 串 不 包含 a 一 z 之 外 的 其 他 字符 , 则 
有 效 等 价 类 为 满足 了 上 述 所 有 条 件 的 字符 串 ,无 效 等 价 类 为 不 以 a 开头 的 字符 串 ,长度 不 为 
8 的 字符 串 和 包含 了 a 一 z 之 外 的 其 他 字符 的 串 。 
等 价 类 划分 过 程 中 可 用 表 2-22 形式 形成 一 个 记录 清单 。 
表 2-22 记录 清单 
输入 条 件 有 效 等 价 类 无 效 等 价 类 


根据 等 价 类 表 ,就 可 以 确定 测试 用 例 。 首 先 ,为 每 个 等 价 类 确定 一 个 唯一 的 编号 ,然后 ， 
设计 一 个 测试 用 例 ,使 其 尽 可 能 多 地 覆盖 尚未 覆盖 的 有 效 等 价 类 ; 重复 这 一 步 , 直 到 所 有 有 
效 等 价 类 均 被 测试 用 例 覆 盖 ， 最 后 ,设计 测试 用 例 逐 一 覆盖 每 个 无 效 等 价 类 。 值 得 注意 的 
是 ,无 效 等 价 类 需要 逐一 设计 测试 用 例 进 行 覆盖 ,因为 几 个 无 效 等 价 类 在 一 起 进行 测试 会 相 
互 屏蔽 。 

等 价 类 划分 测试 技术 的 测试 准则 (等 价 类 划分 覆盖 率 ) 可 以 定义 为 执行 等 价 类 的 数量 与 
总 共 描 述 的 等 价 类 数量 之 比 : 

等 价 类 划分 覆盖 率 二 (执行 的 等 价 类 数量 /总 的 等 价 类 数量 ) X 100% 


4. 原理 


所 谓 等 价 类 是 指 输入 域 的 一 组 互 不 相交 的 子 集 , 该 组 子 集 的 并 是 整个 输入 域 , 因 此 依据 
等 价 类 划分 方法 设计 的 测试 用 例 具 有 完备 性 和 无 元 余 性 。 由 于 等 价 类 由 等 价 关系 决 定 , 因 
此 等 价 类 中 的 元 素 有 一 些 共 同 特点 : 如 果 用 等 价 类 中 的 一 个 元 素 作为 测试 数据 不 能 发 现 程 
序 中 的 故障 ,那么 使 用 集合 中 的 其 他 元 素 进行 测试 也 不 能 发 现 故 障 。 对 于 揭露 软件 错误 来 
说 ,等 价 类 中 的 每 个 元 素 应 该 是 等 效 的 ,如 果 测 试 数据 都 从 一 个 等 价 类 中 选取 ,会 造成 浪 
费 ,因为 只 有 其 中 一 个 测试 数据 对 发 现 错误 有 效 ,所 以 有 必要 将 测试 用 例 分 布 到 各 个 等 
价 类 中 。 

软件 不 能 只 接受 有 效 、 合 理 的 数据 ,还 要 经 受 意外 的 考验 , 即 接收 无 效 的 或 不 合理 的 数 
据 , 这 样 获得 的 软件 才能 具有 较 高 的 可 靠 性 。 因 此 ,在 考虑 等 价 类 时 ,应 注意 区 别 两 种 不 同 
的 情况 : 

(1) 有 效 等 价 类 。 有 效 等 价 类 是 指 符 合 需 求 规格 说 明 书 ,有 意义 的 、 合 理 的 输入 数据 所 
构成 的 集合 。 利 用 有 效 等 价 类 ,可 以 检验 程序 是 否 实现 了 规格 说 明 预 先 规定 的 功能 和 性 能 。 
在 具体 问题 中 ,有 效 等 价 类 可 以 是 一 个 ,也 可 以 是 多 个 。 

(2) 无 效 等 价 类 。 无 效 等 价 类 是 指 不 符合 需求 规格 说 明 书 ,不 合理 或 无 意义 的 输入 数 
据 所 构成 的 集合 。 利 用 无 效 等 价 类 ,可 以 检查 软件 功能 和 性 能 的 实现 是 否 有 不 符合 规格 说 
明 的 地 方 。 对 于 具体 的 问题 ,无 效 等 价 类 至 少 应 有 一 个 ,也 可 能 有 多 个 。 


5. 实例 


例 2-3 三 角形 问题 。 
输入 3 个 整数 a、b、c 作为 边 , 程 序 的 输出 是 由 这 3 条 边 确 定 的 三 角形 类 型 : 等 边 三 角 
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形 、 等 腰 三 角形 、 不 等 边 三 角形 或 非 三 角形 ,如 表 2-23 所 示 。 
表 2-23 例 2-3 用 表 


输入 条 件 有 效 等 价 类 无 效 等 价 类 
a\b.c a>0.b>0.c>0 a<0.b<0.c<0 
avb.e a+b>c.b+c>a.at+c>b a+b<ec.b+c<aat+c<b 


例 2-4 NextData 函数 。 
NextData 函数 有 3 个 输入 变量 (月 份 m\ 日 期 d 和 年 y), 返 回 输 入 日 期 后 面 的 那个 日 
期 ,如 表 2-24 所 示 。 
表 2-24 例 2-4 用 表 


输入 条 件 有 效 等 价 类 无 效 等 价 类 
m l1<m<12 m<1l.m>12 
d 1<d<31 d=1.d>31 
y 1900<y<2100 y<1900.y>2100 
6. 优 缺 点 


等 价 类 划分 方法 是 一 种 科学 有 效 的 方法 ,该 方法 将 无 限 的 输入 空间 约 简 为 小 规模 的 有 
限 集合 ,理论 上 这 两 个 集合 对 于 待 测试 软件 是 等 效 的 。 在 有 明确 的 条 件 和 限制 的 情况 下 , 利 
用 等 价 类 划分 技术 可 以 设计 出 完备 的 测试 ,减少 不 必要 的 测试 用 例 。 

等 价 类 划分 法 的 优点 是 考虑 了 单个 输入 域 的 各 类 情况 ,避免 了 盲目 或 随机 选取 输入 数 
据 的 不 完整 性 和 覆盖 的 不 稳定 性 。 尽 管 等 价 划 分 法 要 比 随机 选取 测试 用 例 优越 得 多 ,但 它 
仍然 存在 不 足 。 例 如 ,这 种 方法 可 能 只 考虑 原子 (部 分 ) 条 件 的 输入 输出 ,那么 条 件 之 间 的 相 
关 性 或 相互 作用 就 有 可 能 被 忽略 ; 如 果 它 们 之 间 的 关系 考虑 在 内 , 则 代价 又 会 非常 高 。 对 
于 这 个 问题 ,可 以 先 对 各 个 原子 条 件 进行 等 价 类 划分 ,再 对 其 进行 组 合 的 方法 做 到 这 一 点 。 
等 价 类 方法 还 可 能 忽略 掉 了 某 些 特定 类 型 的 高 效 测试 用 例 ,边界 值 分 析 和 因果 图 可 以 弥补 
相应 的 不 足 。 


习题 2.2.1 


1. 等 价 类 划分 的 意义 是 什么 ? 

2. 给 出 以 下 佣金 问题 的 等 价 类 划分 。 

佣金 问题 : 

一 位 步枪 销售 商 销 售 每 个 枪 机 45 美元 ,每 个 枪 托 30 美元 ,每 个 枪 管 25 美元 ,销售 商 每 
月 至 少 要 售 出 一 只 完整 的 步枪 , 且 生 产 限 额 是 大 多 数 销售 商 在 一 个 月 内 可 销售 70 个 枪 机 、 
80 个 枪 托 和 90 个 枪 管 。 销 售 商 每 访问 一 个 镇 子 之 后 ,都 给 生产 商 发 电报 ,说 明 在 那个 镇 子 
售 出 的 枪 机 、 枪 托 和 枪 管 的 数量 。 到 了 月 末 , 销 售 商 要 发 出 “ 枪 机 = 一 1” 表 示 一 个 月 结束 。 
这 样 制 造 商 就 知道 当月 的 销售 情况 ,并 计算 销售 商 的 佣金 如 下 : 销售 不 到 ( 含 )1000 美元 的 
部 分 为 10%,1000( 不 含 ) 一 1800( 含 ) 美 元 的 部 分 为 15% ,超过 1800 美元 的 部 分 为 20%。 
佣金 程序 生成 月 份 销售 报告 ,汇总 售 出 的 枪 机 、 枪 托 和 枪 管 总 数 ,销售 商 的 总 销售 额 以 及 
佣金 。 
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2.2.2 边界 值 分 析 (Boundary Value Analysis) 
1. 概念 


软件 测试 实践 中 ,大 量 的 错误 往往 发 生 在 输入 或 输出 范围 的 边界 上 ,而 不 是 在 内 部 。 例 
如 ,数组 的 下 标 、 循 环 控制 变量 等 边界 附近 往往 出 现 大 量 错误 。 因 此 ,作为 等 价 类 划分 方法 
的 补充 ,边界 值 分 析 方 法 不 是 选择 等 价 类 的 任意 元 素 , 而 主要 针对 各 种 边界 情况 设计 测试 
用 例 。 


2. 目标 


大 量 测试 实践 表明 ,很 多 错误 发 生 在 输入 或 输出 数据 范围 的 边界 上 ,因此 ,针对 各 种 边 
界 情况 设计 测试 用 例 , 有 利于 揭露 程序 中 的 错误 。 


3. 方法 


边界 值 分 析 关 注 的 是 输入 输出 空间 的 边界 条 件 ,用 以 选择 测试 用 例 。 实 践 表 明 ,程序 在 
处 理 大 量 中 间 数 值 时 都 正确 ,但 在 边界 处 可 能 出 现 错误 。 例 如 ,循环 条 件 漏 写 了 等 于 ,计数 
器 少 计 了 一 次 或 多 计 了 一 次 ,数组 下 标 忽略 了 0 的 处 理 等 ,这 些 都 是 平时 编程 容易 疏忽 而 导 
致 出 错 的 地 方 。 

一 些 可 能 与 边界 有 关 的 数据 类 型 有 数值 速度、 字符、 位 置 . 尺 寸 .数量 等 ,针对 这 些 数据 
类 型 可 以 考虑 它们 的 下 述 特征 : 第 一 个 和 最 后 一 个 、 最 小 和 最 大 、 开 始 和 完成 超过 和 在 内 、 
空 和 满 , 最 短 和 最 长 .最 慢 和 最 快 、 最 高 和 最 低 、 相 邻 和 最 远 等 。 在 具体 应 用 中 ,每 个 软件 都 
可 能 包含 各 式 各 样 的 边界 条 件 , 应 视 具体 情况 而 定 。 

可 以 预先 定义 期 望 的 边界 值 覆盖 率 , 并 在 执行 测试 后 对 覆盖 率 进行 计算 ， 

边界 值 覆盖 率 = (执行 的 边界 值 数量 /总 的 边界 值 数量 ) X 100% 
其 中 ,边界 值 数量 必须 考虑 边界 值 上 限 的 临近 数值 和 下 限 的 临近 数值 的 数量 。 当 然 , 具 体 的 
数量 只 包含 不 相等 的 输入 值 , 对 于 临近 等 价 类 的 重生 数据 只 作为 一 个 边界 值 来 看 待 ,因为 对 
于 每 个 测试 数据 都 只 有 一 个 测试 用 例 与 之 对 应 。 


4. 原理 


边界 值 分 析 是 对 从 等 价 类 划分 导出 的 测试 用 例 的 一 个 非常 合理 的 补充 。 在 程序 中 错误 
经 常 出 现在 等 价 类 的 边界 上 ,出现 这 种 现象 的 原因 是 经 常 没 有 明确 定义 边界 值 ,或 者 编程 人 
员 对 边界 值 产 生 误解 。 利 用 边界 值 进 行 的 测试 往往 能 够 有 效 地 发 现 失效 ,边界 值 分 析 方法 
一 般 要 求 各 等 价 类 中 的 数据 有 明确 边界 值 。 

测试 软件 的 边界 值 ,就 好 像 让 人 行走 在 悬崖 边 上 ,如 果 一 个 人 能 在 陡峭 、 险 峻 的 悬崖 边 
安全 地 正常 行走 ,那么 他 就 能 在 几乎 任何 陆地 上 正常 行走 。 如 果 软 件 在 各 种 边界 值 上 正常 
运行 ,那么 它 就 能 正常 运行 在 各 种 情况 下 。 


5. 实例 
这 里 先 看 一 个 小 程序 。 
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int i, data[10]; 

For (i=1;i<=10;i++) Data[i]= -1; 

该 小 程序 中 有 个 Bug, 申 请 的 整数 数组 是 从 data[0] 开 始 的 ,程序 中 data[0] 未 被 初始 
化 ,而 data[10] 不 在 已 申请 的 数组 范围 之 列 。 

对 于 一 个 输入 域 , 必 须 考虑 边界 值 和 处 于 输入 域 之 外 的 临近 值 。 比 如 ,输入 域 为 
[一 1.0,1.0], 测 试 数据 应 为 : 一 1.0, 1.0, 一 1.001, 1.001。 

若 输入 文件 的 数据 记录 有 限 , 可 以 根据 以 下 方法 考虑 边界 值 : 假如 一 个 文件 的 记录 个 
数 在 1 一 100, 则 测试 数据 应 该 是 1 和 100 以 及 0 和 101。 
假如 以 输出 域 作为 测试 基础 ,可 以 按照 下 面 的 规则 进行 分 析 : 测试 对 象 的 输出 是 整 型 
值 ,范围 是 500 一 1000 ,得 到 的 测试 输出 应 该 是 500、1000、499 和 1001。 这 里 需要 花费 一 定 
的 工作 量 来 标识 得 到 相应 输出 的 每 个 输入 值 。 产 生 无 效 的 输出 可 能 不 现实 ,但 尽量 试 试 也 
许 能 发 现 一 些 缺 陷 。 
腿 如 测试 的 是 允许 的 输出 值 的 数量 , 则 处 理 的 方式 和 测试 允许 的 输入 值 的 数量 的 方式 
一 样 : 假如 输出 允许 的 是 1 一 4 个 数据 ,测试 需要 产生 的 输出 值 是 1 和 4 以 及 0 和 5。 
对 于 有 序 集合 ,测试 特别 感 兴趣 的 元 素 是 第 一 个 和 最 后 一 个 。 
腿 如 以 复杂 的 数据 结构 作为 输入 或 输出 ,那么 一 个 空 的 列表 和 0 矩阵 等 可 以 作为 边界 值 。 
对 于 数值 计算 , 靠 得 近 的 数据 和 上 距离 比较 远 的 数据 可 以 作为 边界 值 。 
对 于 无 效 等 价 类 ,只 有 当 无 效 等 价 类 内 的 值 可 以 触发 测试 对 象 一 个 不 同 的 异常 处 理 时 ， 
进行 边界 值 的 分 析 才 有 意义 。 
应 尽量 选择 非常 庞大 的 数据 结构 .列表 和 表格 等 作为 边界 值 分 析 的 数据 ,比如 ,那些 能 
使 内 存 溢 出 、 文 件 和 数据 存储 到 达 边 界 的 数据 ,来 检查 测试 对 象 在 这 种 极端 情形 下 的 行为 。 
对 于 列表 和 表格 , 空 列表 和 满 列表 以 及 列表 的 第 一 个 元 素 和 最 后 一 个 元 素 都 是 应 该 作 
为 分 析 的 对 象 , 因 为 测试 它们 常常 可 以 发 现 由 于 编程 错误 而 导致 的 失效 。 


6. 优 缺 点 


边界 值 分 析 应 该 与 等 价 类 划分 一 起 使 用 ,因为 在 等 价 类 边界 值 上 发 现 问题 的 概率 比 在 
等 价 类 内 部 发 现 问 题 的 概率 高 得 多 。 这 两 种 技术 很 容易 相互 结合 着 使 用 ,同时 在 选择 具体 
测试 数据 上 可 以 保持 足够 的 独立 性 。 

利用 边界 值 分 析 技 术 来 定义 相应 的 测试 用 例 需 要 很 多 的 创造 性 ,这 一 点 经 常会 被 忽略 ， 
为 这 种 技术 看 起 来 似乎 很 简单 ,而 实际 上 确定 相关 的 边界 值 需要 一 些 经 验 和 专门 的 知识 。 


习题 2.2.2 

为 什么 测试 用 例 设计 中 ,边界 值 分 析 很 重要 ? 

2.2.3 因果 图 和 决策 表 (Cause Effect Graph and Decision Table) 
1. 概念 


因果 图 是 一 种 形式 语言 。 用 自然 语言 描述 的 规格 说 明 可 以 转换 为 因果 图 ,因果 图 相当 
于 一 种 数字 电路 ,一 个 组 合 的 逻辑 网 络 ,但 没有 使 用 标准 的 电子 学 符号 ,而 是 使 用 了 简化 的 
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符号 。 因 果 图 是 一 种 可 以 辅助 测试 者 明确 测试 对 象 ,确定 测试 依据 的 有 力 手段 。 该 方法 很 
好 地 弥补 了 边界 值 分 析 和 等 价 类 划分 中 未 对 输入 条 件 的 组 合 进行 分 析 的 弱点 。 

因果 图 必须 转化 成 决策 表 , 从 决策 表 才 可 以 得 到 相应 的 测试 用 例 。 决 策 表 由 两 部 分 组 
成 ,上 半 部 分 罗列 了 输入 (原因 ) ,下 半 部 分 包含 了 结果 。 每 一 列 都 是 一 个 测试 用 例 , 条 件 的 
组 合 以 及 针对 这 一 组 合 的 期 望 结果 或 输出 。 

因果 图 和 决策 表 技 术 是 一 种 黑 盒 测 试 方法 ,从 分 析 软 件 系统 需求 规格 说 明 书 开始 ,得 到 
因果 列表 ,然后 基于 此 列表 建立 决策 表 , 最 后 基于 决策 表 生 成 测试 用 例 。 


2. 目标 


在 等 价 类 和 边界 值 分 析 方 法 中 ,对 输入 条 件 的 考虑 并 未 重视 输入 条 件 的 组 合 。 事 实 上 ， 
当 输入 条 件 存 在 若干 可 能 的 组 合 时 ,必须 对 这 些 组 合 加 以 考虑 ,以 证 实测 试 程序 在 某 种 输入 
组 合 的 情况 下 能 否 完成 规格 说 明 书 中 预先 规定 的 功能 。 

要 检查 输入 条 件 的 组 合 不 是 一 件 容易 的 事情 ,即使 把 所 有 输入 条 件 划分 成 等 价 类 ,它们 
之 间 的 组 合 情 况 也 相当 多 。 因 此 必须 考虑 使 用 一 种 适合 于 描述 对 于 多 种 条 件 的 组 合 , 相 应 
产生 多 个 动作 的 形式 来 考虑 设计 测试 用 例 , 这 就 需要 利用 因果 图 。 因 果 图 方法 最 终生 成 的 
就 是 决策 表 , 它 适 于 检查 程序 输入 条 件 的 各 种 组 合 情 况 。 基 于 决策 表 测 试 设计 的 测试 用 例 
的 目的 是 执行 感 兴趣 的 输入 组 合 。 令 人 感 兴趣 的 点 主要 是 指 可 能 发 现 问题 的 点 。 除 了 原因 
和 结果 之 外 ,决策 表 还 可 能 包含 中 间 结 果 。 


3. 原理 


因果 图 方法 是 一 种 根据 条 件 的 组 合 而 生成 测试 用 例 的 系统 性 的 方法 。 可 以 替代 这 种 方 
法 的 是 特殊 选取 的 条 件 组 合 ,但 在 这 个 过 程 中 ,很 可 能 会 遗漏 很 多 可 由 因果 图 方法 确定 的 
“ 令 人 感 兴趣 ”的 测试 用 例 。 

由 于 因果 图 方法 需要 将 规格 说 明 转 换 为 一 个 布尔 逻辑 网 络 , 因 此 它 使 我 们 从 不 同 的 视 
角 ,更 细致 .深入 地 来 审视 规格 说 明 。 事 实 上 ,建立 因果 图 是 一 个 暴露 规格 说 明 中 模糊 和 不 
完整 之 处 的 好 方法 。 

从 因果 图 产生 的 决策 表 的 每 一 列 都 可 以 清楚 地 看 到 条 件 (原因 ) 及 其 输入 的 依赖 关系 ， 
以 及 由 这 些 输入 组 合 得 到 的 相应 的 输出 和 结果 。 决 策 表 定义 了 逮 辑 测试 用 例 ,为 了 执行 这 
些 测 试用 例 , 必 须 输入 具体 的 数据 值 并 且 标识 前 置 条 件 和 后 置 条 件 。 

可 以 定义 基于 因果 图 产生 的 决策 表 的 测试 完成 准则 。 最 基本 的 要 求 是 至 少 用 一 个 测试 
用 例 来 执行 决策 表 中 的 每 一 列 ,这 样 就 验证 了 所 有 关心 的 输入 条 件 组 合 和 相应 的 输出 结果 。 

不 太 乐观 的 是 ,原因 的 每 个 组 合 在 设计 成 一 个 测试 用 例 时 ,条 件 可 能 会 相互 影响 ,或 者 
相互 排斥 ,因此 不 是 所 有 的 组 合 都 是 有 效 的 。 


4. 方法 


1) 用 因果 图 法 生成 测试 用 例 的 基本 步骤 

(1) 分 析 软 件 规格 说 明 描述 中 ,哪些 是 原因 ( 即 输入 条 件 或 输入 条 件 的 等 价 类 ) ,哪些 是 
结果 ( 即 输出 条 件 )。 所 谓 原因 ,是 指 输入 条 件 或 输入 条 件 的 等 价 类 ,而 结果 是 指 输出 条 件 。 
给 每 个 原因 和 结果 赋予 一 个 标识 符 。 
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(2) 分 析 软 件 规格 说 明 描 述 中 的 语义 , 找 出 原因 和 结果 之 间 、 原 因 与 原因 之 间 对 应 的 关 
系 。 根据 这 些 关 系 , 画 出 因果 图 。 

(3) 由 于 语法 或 环境 限制 .有 些 原因 和 原因 之 间 、 原 因 和 结果 之 间 的 组 合 情 况 不 可 能 出 
现 。 为 表明 这 些 特殊 的 情况 ,在 因果 图 上 用 一 些 记号 标明 约束 或 限制 条 件 。 

(4) 把 因果 图 转换 成 决策 表 。 因 果 图 必须 转化 成 决策 表 , 从 决策 表 才 可 以 得 到 相应 的 
测试 用 例 ,将 因果 图 转化 为 决策 表 的 步骤 如 下 。 

a 选择 结果 。 

@ 根据 因果 图 查找 能 够 得 到 这 个 结果 的 原因 组 合 ,以 及 不 产生 这 个 结果 的 原因 组 合 。 

@ 在 决策 表 中 为 每 一 个 原因 组 合 以 及 引起 这 个 结果 的 状态 加 一 列 。 

@ 检查 决策 表 条 目 是 否 出 现 元 余 . 如 果 是 , 则 删除 那些 元 余 的 条 目 。 

(5) 把 判定 表 的 每 一 列 拿 出 来 作为 依据 ,设计 测试 用 例 。 

2) 在 因果 图 中 出 现 的 基本 符号 

通常 在 因果 图 中 用 C; 表示 原因 ,用 E; 表示 结果 ， rm 15 所 示 。 各 连接 
点 表示 状态 ,可 取 值 *0” 或 “1”。“0” 表 示 某 状态 不 出 现 ,“1” 表 示 某 状态 


oc@——®@ 5.®@~®@ es ce 


(a) 恒 等 (b) 非 (c) 或 (d) 与 
图 2-15 因果 关系 表示 符 


主要 的 原因 和 结果 之 间 的 关系 如 下 : 

(1) 恒 等 。 表 示 原 因 和 结果 之 间 一 对 一 的 对 应 关系 。 若 原因 出 现 , 则 结果 出 现 ; 若 原 
因 不 出 现 , 则 结果 也 不 出 现 。 

(2) 非 。 表 示 原 因 和 结果 之 间 的 一 种 否定 关系 。 若 原因 出 现 , 则 结果 不 出 现 ; 若 原因 
不 出 现 , 反 而 结果 出 现 。 

(3) 或 (V )。 表 示 若 几 个 原因 中 有 一 个 出 现 ; 则 结果 出 现 , 只 有 当 这 几 个 原因 都 不 出 
现时 ,结果 才 不 出 现 

(4) 与 (人 )。 表 示 若 几 个 原因 都 出 现 , 则 结果 才 出 现 ; 表示 若 几 个 原因 中 有 一 个 不 出 
现 , 结 果 就 不 出 现 。 

3) 表示 约束 条件 的 符号 

为 了 表示 原因 与 原因 之 间 、 结 果 与 结果 之 间 可 能 存在 的 约束 条 件 ,在 因果 图 中 可 以 附加 
一 些 约束 符号 。 若 从 输入 (原因 ) 考 虑 ,有 以 下 5 种 约束 ,如 图 2-16 所 示 。 


a a a a a 
b c b b b 
(a)E( 互 斥 。 排 他 ) ”(b)1( 包 含 。 或 ) (9 0( 唯 一 ) (d) R( 要 求 ) (e) M (屏蔽 ) 


图 2-16 关系 约束 符号 
(1) E( 互 斥 )。 表 示 a 6。 两 个 原因 不 会 同时 成 立 ,两 个 中 最 多 有 一 个 可 能 成 立 。 
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(2) I( 包 含 )。 表 示 a、b.c 三 个 原因 中 至 少 有 一 个 必须 成 立 。 

(3) O( 唯 一 )。 表 示 a 和 2 当中 必须 有 一 个 且 仅 有 一 个 成 立 。 

(4) R( 要 求 )。 表 示 当 a 出 现时 ,2 必须 也 出 现 。 不 可 能 a 出 现 ,6b 不 出 现 。 
(5) M( 屏 项 )。 表 示 a 是 1 时 ,b 必须 是 0。 而 当 a 为 0 时 ,b 的 值 不 定 。 


5. 实例 


例 2-5 有 一 个 处 理 单价 为 5 角 钱 的 饮料 的 自动 售 货 机 软件 测试 用 例 的 设计 ,其 规格 说 
明 为 : 若 投 入 5 角 钱 或 1 元 钱 的 硬币 , 按 下 “橙汁 ”或 “啤酒 ”按钮 , 则 相应 的 饮料 就 送出 来 。 
车 售 货 机 没有 零钱 找 , 则 一 个 显示 “零钱 找 完 "的 红 灯 亮 ,这 时 在 投入 1 元 硬币 并 按 下 按钮 
后 ,饮料 不 送出 来 而 且 1 元 硬币 也 退出 来 ; 车 有 零钱 找 , 则 显示 “零钱 找 完 ” 的 红 灯 灭 ,在 送 
出 饮料 的 同时 退还 5 角 硬 币 。 

(1) 分 析 这 一 段 说 明 , 列 出 原因 和 结果 ,如 表 2-25 所 示 。 


表 2-25 例 2-5 说 明 


原 因 结 果 
1. 售 货 机 有 零钱 找 21. 售 货 机 “零钱 找 完 ”灯亮 
2. 投入 1 元 硬币 22. 退还 1 元 硬币 
3. 投入 5 角 硬 币 23. 退还 5 角 硬 币 
4. 按 下 “橙汁 "按钮 24. 送出 橙汁 饮料 
5. 按 下 “啤酒 ”按钮 25. 送出 啤酒 饮料 


(2) 夯 出 因果 图 ,如 图 2-17 所 示 。 所 有 原因 结 点 列 在 左边 ,所 有 结果 结 点 列 在 右边 。 
建立 4 个 中 间 结 点 ,表示 处 理 的 中 间 状 态 。 
中 间 结 点 : 11. 投入 1 元 硬币 且 按 下 饮料 按钮 。 
12. 按 下 “橙汁 ”或 “啤酒 ”按钮 。 
13. 应 当 找 5 角 和 零钱 并 且 售 货机 有 零钱 找 。 
14. 钱 已 付 清 。 


售 货 机 有 零钱 找 (1 <) 售 货 机 “零钱 找 完 ” 灯 亮 


投入 1 元 硕 币 /人 因 退还 1 元 硬币 
El 
投入 5 角 便 币 “@) ee (3 退还 5 角 硬 币 
钱 付 清 
按 下 “ 检 计 " 按 包 AD ~G@9) 送出 档 计 饮料 
按 下 “啤酒” 反 所 QO 人 ANG3 送出 啤酒 


图 2-17 自动 售 货 机 因果 图 


(3) 由 于 原因 2 与 3、4 与 5 不 能 同时 发 生 , 分 别 加 上 约束 条 件 EE。 
(4) 将 图 2-17 所 示 的 因果 图 转换 成 决策 表 ( 如 表 2-26 所 示 ) 。 
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-oococc--c-------=--=-- 
-=------------- 
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表 2-26 自动 售 货 机 决策 表 
1 
1 
0 
1 
0 
1 
0 
1 
0 
1 
0 
0 
0 
0 
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eeeeeeeeeeeseee 


序号 
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6. 优 缺 点 


因果 图 有 助 于 用 一 个 系统 的 方法 选择 出 高 效 的 测试 用 例 集 ,而 且 它 的 一 个 额外 好 处 就 
是 可 以 指出 规格 说 明 的 不 完整 和 不 明确 之 处 。 因 果 图 确实 能 够 产生 一 组 有 效 的 测试 用 例 ， 
但 通常 它 不 能 够 生成 全 部 应 该 被 确定 的 有 效 测试 用 例 。 在 条 件 的 数量 和 依赖 关系 增加 时 ， 
因果 图 和 决策 表 的 规模 增加 得 非常 快 ,从 而 失去 可 读 性 ,而 且 将 因果 图 转换 为 决策 表 是 最 具 
难度 的 部 分 ,但 目前 已 经 有 算法 和 相应 的 工具 可 以 支持 自动 完成 。 另 外 ,在 优化 决策 表 时 可 
能 会 引入 错误 ,比如 忽略 了 需要 考虑 的 输入 和 条 件 的 组 合 。 


习题 2.2.3 

因果 图 和 决策 表 的 关系 是 什么 ? 

2.2.4 错误 猜测 法 (Error Guessing Method) 
1. 概念 


错误 猜测 法 是 基于 测试 人 员 的 经 验 和 直觉 来 推测 系统 中 可 能 存在 的 各 种 缺陷 ,有 针对 
性 地 设计 测试 用 例 的 方法 。 这 里 经 验 和 直觉 来 自 测试 人 员 对 待 测试 软件 系统 特性 的 了 解 和 
以 往 在 测试 工作 中 的 总 结 。 错 误 猜 测 法 的 基本 思想 是 列举 出 系统 中 所 有 可 能 的 缺陷 和 容易 
发 生 缺 陷 的 特殊 情况 ,并 根据 它们 选择 测试 用 例 。 可 以 利用 不 同 测试 阶段 的 经 验 和 对 被 测 
试 软件 系统 的 认识 来 设计 测试 用 例 。 例 如 ,用 一 些 非法 、 错 误 、 不 正确 和 无 意义 的 数据 进行 
输入 测试 ,针对 程序 代码 中 的 内 存 分 配 、 内 存 泄露 等 问题 展开 测试 等 。 一 般 来 说 ,可 以 从 以 
下 几 个 方面 进行 错误 猜测 : 软件 产品 以 前 版 本 中 存在 的 问题 ; 受到 语言 .操作 系统 、 浏 览 器 
等 环境 的 限制 而 可 能 带 来 的 问题 。 


2. 原理 


常常 可 以 看 到 这 种 情况 ,有 些 人 似乎 天 生 就 是 干 测试 的 能 手 。 这 些 人 没有 用 到 任何 
特殊 的 方法 ,如 因果 图 、 边 界 值 分 析 等 , 却 似乎 有 着 发 现 错误 的 诀窍 。 对 此 的 一 个 解释 是 
这 些 人 更 多 是 在 下 意识 中 ,实践 着 一 种 称 为 错误 猜测 的 测试 用 例 设计 技术 。 接 到 具体 的 
程序 之 后 ,他 们 利用 直觉 和 经 验 猜测 出 错 的 可 能 类 型 ,然后 编写 测试 用 例 来 暴露 这 些 


错误 。 
3. 方法 


由 于 错误 猜测 主要 是 一 项 依赖 于 直觉 的 非 正规 的 过 程 ,因此 很 难 描述 出 这 种 方法 的 规 
程 。 其 基本 思想 是 列举 可 能 犯 的 错误 或 易 发 错误 情况 的 清单 ,然后 依据 清单 来 编写 测试 用 
例 。 例 如 ,程序 输入 中 出 现 0 这 个 值 就 是 一 种 易 发 的 错误 。 因 此 ,可 以 编写 测试 用 例 , 检 查 
竺 定 的 输入 中 有 0, 或 特定 的 输出 值 被 强制 为 0 的 情况 。 同 样 , 在 出 现 输入 输出 的 数量 不 定 
的 地 方 (如 某 个 被 搜索 列表 的 条 目 数量 ) ,数量 为 “没有 ”和 “一 个 "(对 应 空 列表 、 仅 包含 一 个 
条 目的 列表 ) 也 是 错误 易 发 生 情 况 。 另 一 个 思想 是 ,在 阅读 规格 说 明 时 ,联系 程序 员 可 能 做 
的 假设 来 确定 测试 用 例 ( 即 规格 说 明 中 的 一 些 内 容 会 被 忽略 ,要 么 是 由 于 偶然 因素 ,要 么 是 
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程序 员 认 为 其 显而易见 ) 。 
4. 实例 


由 于 无 法 给 出 一 个 规程 来 ,次 优 的 选择 就 是 讨论 错误 猜测 的 实质 ,最 好 的 做 法 是 举 出 实 
例 。 例 如 测试 一 个 对 线性 表 进 行 排序 的 程序 ,利用 错误 猜测 法 要 特别 测试 如 下 情况 : 输入 
的 线性 表 是 空 的 ; 输入 列表 仅 包含 一 个 条 目 ; 输入 列表 中 部 分 或 所 有 条 目的 值 都 相同 ; 输 
入 列表 已 经 按 逆序 排 好 ; 输入 的 线性 表 已 经 排 好 序 。 这 里 列举 出 的 情况 可 能 在 程序 设计 时 
被 忽略 。 


习题 2.2.4 

错误 猜测 法 是 否 可 有 可 无 ? 

2.2.5 状态 转换 测试 (State Transformation Testing) 
1. 概念 


状态 转换 测试 ,根据 测试 对 象 的 规格 说 明 ,将 测试 对 象 抽象 为 一 个 状态 转换 图 ,根据 状 
态 转 换 图 设计 测试 用 例 系统 检测 状态 转换 过 程 中 可 能 存在 的 问题 。 测 试 的 有 效 程度 取决 于 
状态 转换 图 是 否 正确 反映 了 测试 对 象 的 规格 说 明 。 


2. 目标 


状态 转换 测试 用 于 系统 检测 软件 系统 中 各 种 状态 对 于 测试 对 象 的 功能 的 影响 ,测试 对 
象 的 功能 会 因为 测试 对 象 的 状态 不 同 而 受 影响 。 已 有 的 测试 方法 不 具备 这 个 特点 ,它们 不 
能 有 效 检测 函数 在 不 同 状态 下 会 有 不 同 的 行为 。 


3. 原理 


很 多 情况 下 ,测试 对 象 的 输出 和 行为 不 仅 受 当 前 输入 数据 的 影响 ,同时 还 与 测试 对 象 之 
前 的 执行 情况 ,或 者 之 前 的 事件 或 以 前 的 输入 数据 等 有 关 。 为 了 说 明 测试 对 象 和 历史 数据 
之 间 的 关系 引入 状态 图 ,状态 图 是 进行 状态 转换 测试 设计 的 基础 。 

状态 转换 模型 包括 状态 、 转 换 、 事 件 、 动 作 和 它们 之 间 的 关系 ,状态 是 互 不 相交 的 、 可 辨 
识 的 且 数 量 有 限 的 ; 事件 是 由 输入 产生 的 ,可 导致 状态 之 间 发 生 转 换 ,转换 可 以 回 到 其 起 始 
状态 ; 转换 过 程 中 产生 动作 或 输出 。 

状态 转换 测试 中 ,测试 对 象 可 以 是 一 个 具有 不 同系 统 状态 的 完整 系统 ,也 可 以 是 一 个 面 
向 对 象 系统 中 具有 不 同 状 态 的 类 。 假 如 由 于 历史 的 原因 会 导致 系统 不 同 的 表现 ,就 需要 用 
状态 转换 测试 。 


4. 方法 


设计 测试 用 例 执 行 状态 图 中 的 转换 。 一 个 测试 用 例 可 以 执行 多 个 转换 。 对 于 每 个 测试 
用 例 要 指定 : 软件 的 起 始 状 态 、 软 件 的 输入 、 预 期 输出 和 预期 的 最 终 状 态 。 对 于 该 测试 用 例 
执行 的 每 个 转换 要 指定 以 下 信息 : 起 点 状态 、 触 发 状态 转换 的 事件 、 预 期 的 状态 转换 发 生 时 
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的 动作 和 预期 的 下 一 个 状态 。 测 试用 例 可 以 用 来 测试 软件 中 有 效 的 转换 ,也 可 以 测试 那些 
无 法 推测 的 转换 。 

对 于 状态 转换 测试 ,同样 可 以 定义 测试 强度 和 完成 准则 : 

(1) 每 个 状态 至 少 执行 一 次 。 

(2) 每 个 状态 转换 至 少 执行 一 次 。 

(3) 所 有 不 符合 规格 说 明 的 状态 转换 都 已 检查 。 

对 于 一 些 要 求 比较 高 的 应 用 程序 ,可 能 还 需要 声明 以 下 状态 转换 测试 准则 : 

(1) 所 有 的 状态 和 输入 的 组 合 。 

(2) 所 有 状态 转换 的 组 合 。 

(3) 所 有 状态 的 任意 顺序 的 所 有 转换 ,也 可 以 是 重复 的 或 连续 的 。 

覆盖 对 象 是 状态 转化 模型 中 的 单个 转换 或 多 个 转换 的 序列 。 对 于 单个 转换 ,转换 覆盖 
率 是 测试 中 执行 的 有 效 转换 占 所 有 转换 的 百分比 , 亦 称 0- 切 换 覆 盖 率 (0-switch);， 对 于 nn 个 
转换 序列 ,转换 柳 盖 率 是 测试 中 执行 的 有 效 n 转换 占 所 有 转换 的 百分比 , 亦 称 ”一 1- 切 换 
获 盖 率 (n 一 1-switch)。 状 态 转 换 覆 盖 测 试 统称 -切换 覆盖 (k-switch ,k 宇 0)。 


5. 实例 


一 个 时 间 日 期 显示 软件 有 4 个 状态 模式 , 即 显示 时 间 模 式 (DISPLAYING TIME (S1))、 显 
示 日 期 模式 (DISPLAYING DATE (S2)) .设置 时 间 模 式 (CHANGING TIME(S3)) 和 设置 
日 期 模式 (CHANGING DATE (S4)), 如 图 2-18 所 示 ; 可 以 接受 4 个 输入 , 即 改变 模式 
('change mode'(CMD)) , 重 置 (reset'"(R)) 时 间 设 置 ('time set'(TS)) 和 日 期 设置 ('date set'(DS))。 
同时 ,在 不 同 输入 条 件 下 , 它 有 4 个 预期 输出 动作 , 即 显 示 时 间 (display time (T))、 显 示 日 
期 (display date (D)) 改变 时 间 (alter time (AT)) 和 改变 日 期 (alter date (AD) ) 。 


reset(R) | 
altertime(AT) 
DISPLAYING DISPLAYING 
TIME(S1) TIME(S3) 
‘time set(TS) 
display time(T) 
‘change 
‘change ode(CM 
mode(CM)| ) 
display pe 
time(T) date(D) 
‘reset'(R) 
alter date(AD) 
DISPLAYING DISPLAYING 
DATE(S2) DATE(S4) 


"date set(DS) 
display date(D) 


2-18 时 间 / 日 期 软件 状态 模型 
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图 2-19 是 覆盖 所 有 单个 转换 的 测试 用 例 集 合 (0-switch 覆盖 测试 用 例 集 )。 例 如 第 一 
个 测试 用 例 起 始 状态 是 S1, 输 入 是 CM ,预期 输出 是 D, 终 止 状态 是 S2。 这 种 测试 方法 可 以 
系统 检测 各 种 转换 中 可 能 存在 的 错误 ,但 不 能 发 现 转换 序列 中 可 能 存在 的 问题 。 


测试 用 例 1 2 3 4 5 
起 始 状态 SI|SI|S5s |S | ss 
输入 CM|IR|Ts|IcM|IR 
预期 输出 wi: | 过 T | AD 
终止 状态 村 了 攻 国医. 国医， 


图 2-19 0-switch 覆盖 测试 用 例 集 


贸 | 口 | 别 | 史 | = 


图 2-20 给 出 了 10 个 测试 用 例 , 可 以 覆盖 所 有 两 个 转换 之 间 的 有 效 组 合 (1-switch 覆盖 
测试 用 例 集 )。 例 如 ,第 1 个 测试 用 例 从 Sl 出 发 ,输入 CM 进入 S2, 再 输入 CM, 进入 Sl 状 
态 。 测 试 的 转换 序列 长 度 越 长 ,测试 覆盖 程度 就 越 高 ,测试 就 越 彻底 。 


测试 用 例 1 2 3 4 
起 始 状 态 sl1|sl|lsl|ss|ss|s|s|s |S | 
输入 CMICM|R |Ts|TS|IcMIcCM|R |Ds|Ds 
预期 输出 有 | blAT| | | | TAB 下 | 了 
下 个 状态 S2 |S2|S3|SI|SI|SI|SI | S4 
输入 CM| Ri|TS|ICMI Ri CMR |Ds|CcCM| R 
预期 输出 五 | 9 人 | 本 | AI| | Fr | 应 
终止 状态 SI|S|S|l|S |SI|S |S3I |S |SI | S 


图 2-20 1-switch 覆盖 测试 用 例 集 


a 
-~ 
oo 
0 
s 


图 2-21 给 出 的 是 时 间 / 日 期 软件 的 状态 表 , 符 号 N 表示 无 预期 输出 。 图 中 第 1 列 是 4 
个 状态 ,第 1 行 是 4 个 输入 ,中 间 每 一 单元 格 元 素 是 在 相应 行 状态 下 对 应 相应 列 的 输入 时 ， 
系统 的 预期 输出 和 最 后 状态 。 例 如 ,图 2-21 中 右 下 方 最 后 一 个 单元 格 对 应 在 状态 S4 ,输入 
是 DS ,预期 输出 是 D 并 进入 状态 S2。 


CM R TS DS 
状态 
Sl S2/D | S3/AT | SI/N | S/N 
S2 SI/T | St/AD | S2/N | S2/N 
S3 S3/N | S3/N | SUMT | S3/N 
S4 S4/N | S4/N | $4/N | S2/D 
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一 个 更 为 有 效 的 方法 是 根据 状态 表 逐 一 设计 测试 用 例 ( 如 图 2-22 所 示 ), 可 以 为 时 间 / 
日 期 软件 生成 16 个 测试 用 例 ( 如 图 2-23 所 示 )。 这 种 设计 方法 覆盖 了 系统 状态 和 系统 输入 
之 间 的 全 部 组 合 。 
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输入 
CM R TS DS 
状态 
Si S2/D S3/AT SLU/N SU/N 
(测试 用 例 1) | (测试 用 例 2〉 | (测试 用 例 3》 | (测试 用 例 4) 
车 SIT S4/AD S2/N S2/N 
(测试 用 例 5) | (测试 用 例 6) | (测试 用 例 7) | (测试 用 例 8) 
i S3/N S3/N SU/T S3/N 
(测试 用 例 9) | (测试 用 例 10) | (测试 用 例 11) | (测试 用 例 12) 
二 S4/N S4/N S4/N S2/D 
(测试 用 例 13) | (测试 用 例 14) | (测试 用 例 15) | (测试 用 例 16) 
图 2-22 ”根据 状态 表 逐 一 设计 测试 用 例 
测试 用 例 1 2 3 4 5 |… | …|…|l1|13|141315 |16 
起 始 状 态 Sl Sl Sl Sl S2 S4 | S4 | S4 S4 
输入 CM | R | TS | ps | CM 


预期 输出 D |AT| N N 革 
终止 状态 第 区 | 直下 于 


名 | 荆 | 品 | 名 

多 | 二 | 县 
be 
所 
吕 


图 2-23 覆盖 状态 表 的 测试 用 例 集 


6. 优 缺 点 


状态 转换 测试 适用 于 那些 状态 起 着 重要 作用 的 测试 对 象 , 测 试 对 象 的 功能 会 因为 测试 
对 象 的 状态 不 同 而 受 影响 。 已 有 的 测试 方法 不 具备 这 个 特点 ,它们 不 能 有 效 检测 函数 在 不 
同 状态 下 会 有 不 同 的 行为 。 

在 面向 对 象 系统 中 ,对 象 可 以 有 不 同 的 状态 ,操作 对 象 的 方法 必须 能 根据 不 同 的 状态 作 
出 相应 的 反应 ,所 以 状态 转换 测试 技术 尤为 重要 ,因为 它们 考虑 面向 对 象 的 特征 。 

当 系统 的 状态 数量 比较 大 ,状态 转换 的 组 合 就 更 大 ,采用 状态 转换 测试 方法 ,测试 用 例 
的 数量 就 会 过 大 ,得 到 足够 的 覆盖 率 就 不 大 可 能 了 。 


习题 2.2.5 
状态 转换 测试 主要 检查 什么 ? 
2.2.6 语法 测试 (Syntax Testing) 


1. 概念 


语法 测试 是 一 种 不 同 的 测试 方法 , 它 基 于 输入 接口 的 语法 变异 生成 测试 用 例 , 因 此 特别 
适合 在 对 输入 进行 确认 时 发 现 不 足 之 处 。 通 过 语法 测试 ,可 以 确定 合法 输入 串 被 接受 ,非法 
输入 串 被 拒绝 ,并且 没 有 输入 串 会 引起 系统 失效 。 

2. 目标 


语法 测试 主要 针对 3 种 类 型 的 错误 , 即 软件 不 识别 正确 的 串 ; 软件 接收 不 正确 的 串 ; 软 
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件 在 接收 一 个 串 时 崩溃 。 
3. 原理 


语法 测试 中 的 测试 用 例 , 也 就 是 软件 输入 ,可 以 基于 软件 接口 能 理解 的 语言 规格 说 明 来 
创建 。 自 动 语法 测试 需要 一 个 机 器 可 读 格式 的 输入 语言 形式 化 描述 。 如 果 语 言 是 隐 式 的 ， 
测试 人 员 就 必须 为 语言 创建 规格 说 明 。 规 格 说 明 最 通用 的 形式 是 BNF 范式 和 正规 表达 式 ， 
它们 都 可 以 用 来 定义 上 下 文 无 关 文 法 语言 。 句 子 是 一 个 字 节 序列 ,按照 语言 的 规则 进行 排 
列 。 上 下 文 无 关 语言 一 般 用 于 各 种 编译 器 ,为 输入 句子 创建 语法 分 析 器 。 上 下 文 无 关 语言 
是 产生 句子 的 基础 ,然后 把 这 些 句 子 注 入 被 测 软件 中 ,观察 软件 接收 /拒绝 这 些 句子 ,或 是 在 
处 理 过 程 中 发 生 失 效 。 

语法 测试 的 有 效 性 取决 于 建立 的 语法 规格 说 明 是 否 符合 需求 。 


4. 方法 


语法 测试 一 般 遵循 的 原则 如 下 : 

(1) 识别 目标 语言 或 格式 。 

(2) 形式 化 地 定义 语言 语法 ,例如 BNF 范式 。 

(3) 通过 覆盖 输入 语言 的 BNF 语法 图 测试 正常 条 件 。 

(4) 通过 执行 非法 数据 测试 异常 条 件 。 

通过 对 下 面 的 策略 进行 相应 的 改造 为 语法 测试 生成 测试 用 例 : 

(1) 每 次 产生 一 个 错误 ,同时 保持 输入 串 的 其 他 部 分 正确 。 

(2) 一 旦 为 单个 错误 定义 了 一 组 完整 的 测试 用 例 ,那么 对 两 个 错误 的 组 合 也 同样 处 理 ， 
然后 三 个 错误 的 组 合 等 等 。 

(3) 每 次 只 关注 一 个 层次 ,同时 尽 可 能 保持 更 高 和 更 低层 次 正确 。 

语法 测试 没有 确定 的 测试 覆盖 度量 ,任何 一 种 覆盖 度量 都 取决 于 产生 有 效 语法 选项 的 
规则 和 无 效 语法 选项 的 列表 ,这 些 规则 和 列表 都 不 是 十 分 明确 ,针对 具体 语法 可 能 有 所 
不 同 。 


5. 实例 
浮 点 数 输入 测试 , 浮 点 数 的 BNF 范式 可 以 表示 为 : 


float = int "e”int 


int=["+"|"—"]nat 
nat = {dig} 
dig="0"|"1"|"2")"3"|"4"|"5"|"6"|"7"|"g"|"g" 


其 中 ,int 可 有 3 个 选择 , 即 nat[opt_1], 十 nat[opt_2], 一 nat[opt_3];nat 有 2 个 选择 , 即 单 
个 数字 [opt_4], 多 个 数字 [opt_5]; dig 有 10 个 数字 选择 [opt 6] 一 [opt_15]。 因 此 ,可 以 设 
计 如 表 2-27 所 示 的 测试 用 例 覆 盖 这 些 可 能 的 选项 。 
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表 2-27 依据 语法 产生 的 测试 用 例 


测试 用 例 浮 点 数 输入 执行 的 选项 检查 结果 
1 3e2 opt_1 "valid' 
十 2e 十 5 opt_ 2 "valid' 
3 一 6e 一 7 opt_ 3 "valid' 
4 6e 一 2 opt 4 "valid' 
5 1234567890e3 opt_ 5 "valid' 
6 0e0 opt_6 "valid' 
有 lel opt_7 "valid' 
8 2e2 opt_8 "valid' 
9 3e3 opt_ 9 "valid' 
10 4e4 opt_10 "valid' 
11 5e5 opt_11 ‘valid' 
12 6e6 opt_12 "valid' 
13 7e7 opt_13 "valid' 
14 8e8 opt_14 "valid' 
15 9e9 opt_15 "valid' 


另 一 个 方面 是 设计 语法 的 非法 测试 用 例 。 对 语法 的 BNF 做 变异 ,主要 有 以 下 4 种 变异 


方式 : 


“ml 


为 BNF 的 元 素 引入 一 个 无 效 值 ; 


m2 将 BNF 的 元 素 蔡 换 为 另 一 个 已 定义 的 值 ; 


。 m3 丢失 BNF 的 一 个 元 素 值 ; 

。m4 增加 一 个 额外 元 素 值 。 

将 这 些 一 般 的 变异 方式 应 用 到 具体 的 语法 中 ,就 形成 一 个 具体 的 变异 ,例如 ,对 于 浮 点 
数 的 BNF ,每 个 元 素 用 el_1、el_2 等 表示 ,原先 的 BNF 就 可 以 表示 成 下 面 右边 的 形式 : 


float 


int "e" int el_1 = el2el3el4 
["+ "一 "]nat el5 = el6el7 
{dig} el8 = el9 
"ol ei 


分 别 对 上 面 右边 的 BNF 做 变异 ,可 以 产生 如 表 2-28 所 示 的 测试 用 例 。 例 如 ,在 表 2-28 
中 测试 用 例 1 是 对 元 素 el_2 做 变异 ml, 即 引入 一 个 无 效 值 x。 
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表 2-28 依据 语法 产生 的 变异 测试 用 例 


测试 用 例 浮 点 数 输入 变 异 元 素 检查 结果 
1 Xeo ml xforel 2 'invalid' 
区 oxo ml xforel 3 'invalid' 
3 oex ml xforel 4 'invalid， 
4 xoeo ml xforel 6 'invalid' 
5 十 xeo ml xforel_7 'invalid' 
6 eeo m2 el_3 forel_2 "invalid’ 
是 十 eo m2 el 6 forel_2 'invalid' 
8 ooo m2 el_2 forel_3 'invalid'" 
9 o 十 o m2 el_6 forel 3 "invalid' 
10 oee m2 el 3forel 4 'invalid' 
11 oe 十 m2 el_6 for el_4 'invalid' 
12 eoeo m2 el_3 for el_6 'invalid' 
13 十 eeo m2 el 3 forel_7 'invalid' 
14 十 十 eo m2 el_6 forel_7 'invalid' 
15 eo m3 el_2 "invalid' 
16 oo m3 el_3 'invalid' 
17 oe m3 el4 'invalid' 
18 yoeo m4 yinel_l 'invalid' 
19 Oyeo m4 yinel_l "invalid' 
20 oeyo m4 yinel_l 'invalid 
21 oOeoy m4 yinel_l "invalid" 
22 yt+oeo m4 yinel_5 'invalid' 
28 十 yoeo m4 yinel_5 'invalid' 
24 十 oyeo m4 yinel_5 "invalid' 
习题 2.2.6 


语法 测试 主要 检查 哪些 类 型 的 错误 ? 


开发 过 程 中 的 测试 


软件 测试 是 伴随 着 软件 生命 周期 每 一 个 阶段 的 检查 和 验证 活动 ,包括 需求 分 析 、 概 要 设 
计 、 详 细 设计 、 编 码 的 各 个 阶段 以 及 维护 等 。 本 章 着 重 介绍 编码 的 各 个 阶段 测试 , 即 针对 单 
元 模块 的 测试 一 一 单元 测试 ; 将 各 个 经 过 测试 的 单元 模块 进行 集成 的 测试 一 一 集成 测试 ; 
系统 集成 之 后 进行 的 系统 测试 ; 系统 经 过 维护 之 后 的 回归 测试 ; 系统 出 厂 前 的 a 测试 和 B 
测试 等 。 每 个 阶段 测试 的 对 象 .关注 的 软件 质量 问题 都 有 所 不 同 , 同 时 测试 的 环境 和 人 员 也 
有 所 不 同 ,但 第 2 章 介 绍 的 黑 盒 测试 、 白 盒 测 试 以 及 静态 测试 和 动态 测试 等 各 种 测试 方法 都 
可 以 应 用 到 这 些 测试 过 程 之 中 。 


Gt 单元 测试 (Unit Testing) 


1. 概念 


单元 测试 是 在 模块 源 程序 代码 编写 完成 之 后 进行 的 测试 ,是 集成 测试 的 基础 。 只 有 通 
过 了 单元 测试 模块 , 才 可 以 集成 到 一 起 进行 集成 测试 ,否则 ,投入 运行 的 软件 就 像 地 基 不 牢 
的 摩天 大 楼 一 样 暗藏 很 多 不 安全 因素 。 软 件 开发 过 程 中 由 于 不 断 地 出 现 需求 变更 和 功能 的 
完善 等 原因 ,需要 对 程序 单元 的 代码 进行 适当 改动 ,因此 单元 测试 也 是 一 项 贯穿 于 软件 开发 
过 程 的 一 种 活动 。 

单元 测试 是 在 软件 开发 过 程 中 进行 的 最 低级 别 的 测试 活动 ,是 针对 软件 设计 的 最 小 单 
位 程序 模块 进行 的 正确 性 检验 工作 。 

软件 的 最 小 单元 可 以 是 一 个 具体 的 函数 或 过 程 、 一 个 模块 .一 个 类 或 一 个 类 的 方法 , 它 
一 般 具 有 一 些 基 本 的 属性 ,如 明确 的 功能 或 规格 定义 .与 其 他 部 分 明确 的 接口 定义 。 如 果 一 
个 单元 可 以 清晰 地 与 同一 程序 的 其 他 单元 划分 开 来 ,就 可 以 把 它 作为 软件 的 一 个 单元 ,进行 
单元 测试 。 因 此 ,一 般 来 说 “单元 是 软件 里 最 小 的 、 可 以 单独 执行 编码 的 单位 ,同时 还 需 具 
备 以 下 特征 : 

，。 单元 必须 是 可 测 的 ; 

”单元 的 行为 或 输出 是 可 观测 的 ; 

。 有 明确 的 可 定义 的 边界 或 接口 等 。 

单元 测试 就 是 由 验证 软件 单元 的 实现 是 否 和 该 单元 的 说 明 完全 一 致 的 相关 联 的 测试 活 
动 组 成 的 。 根 据 软件 单元 的 说 明文 档 ( 该 文档 可 以 是 一 种 说 明 语 言 , 或 一 种 自然 语言 ,或 状 
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态 机 等 ) 编 写 测试 用 例 ,对 重要 的 接口 .局 部 数据 结构 ,边界 条 件 、 独 立 路 径 和 错误 处 理 路 径 ， 
通过 代码 检查 或 执行 测试 用 例 有 效 地 进行 测试 。 

在 结构 化 编程 语言 中 ,一 般 对 函数 或 子 过程 进 行 单元 测试 ; 在 使 用 纯 C 语言 的 代码 中 ， 
一 般 认为 一 个 函数 就 是 一 个 单元 ; 在 可 视 化 环境 下 或 图 形 用 户 界面 环境 下 ,单元 可 以 是 一 
个 窗口 或 者 是 这 个 窗口 中 相关 元 素 的 集合 ,如 一 个 组 合 框 等 ; 在 基于 组 件 开发 的 环境 中 , 单 
元 可 以 是 一 个 预先 定义 的 可 重用 组 件 , 在 这 种 情况 下 ,测试 者 可 以 考虑 该 组 件 的 初始 状态 成 
熟 度 和 以 前 的 测试 历史 ,以 确定 当前 执行 什么 测试 ; 对 于 Web 编程 的 网 页 ,单元 可 以 是 页 
面 上 的 一 个 子 功能 ,如 一 个 文字 输入 窗口 或 一 个 功能 按钮 ; 在 面向 对 象 的 语言 中 ,类 或 类 的 
方法 是 单元 测试 的 对 象 。 这 样 可 以 避免 开发 人 员 和 测试 人 员 陷 入 不 必要 的 单元 争论 中 。 


2. 目标 


单元 测试 的 目标 是 在 于 验证 代码 是 否 与 设计 相符 合 ; 跟踪 需求 和 设计 的 实现 是 否 一 
致 ,发 现 设计 和 需求 中 存在 的 错误 ; 发 现在 编码 过 程 中 引入 的 错误 ,发 现 各 模块 内 部 的 错 
误 , 以 确保 模块 内 部 的 一 致 性 与 逻辑 正确 ,并 使 排 错 工作 易于 进行 。 

单元 测试 (模块 测试 ) 是 对 程序 中 的 单个 子 程序 或 过 程 进行 测试 的 过 程 , 即 一 开始 并 不 
是 对 整个 程序 进行 测试 ,而 是 将 注意 力 集中 在 对 构成 程序 的 较 小 模块 的 测试 上 。 这 种 做 法 
至 少 有 3 个 好 处 : 第 一 ,模块 测试 将 复杂 的 程序 分 而 治之 ,将 注意 力 集中 在 程序 的 较 小 单元 
上 ,容易 发 现 程序 中 的 问题 ,这 是 人 们 管理 和 测试 复杂 测试 对 象 的 一 般 方法 ; 第 二 ,单元 测 
试 可 以 减轻 调试 (准确 定位 并 纠正 某 个 已 经 发 现 的 错误 ) 的 难度 ,因为 一 旦 某 个 错误 被 发 现 
出 来 ,就 容易 知道 问题 出 在 什么 地 方 ; 第 三 ,单元 测试 可 以 并 行 ,允许 多 个 被 测试 单元 的 测 
试 工作 同时 展开 ,可 以 通过 并 行 工程 方法 提高 测试 效率 。 单 元 测试 的 过 程 包括 测试 的 策略 ， 
测试 的 分 析 及 人 员 ,资源 和 进度 的 安排 等 ,单元 测试 是 必须 进行 的 \ 不 能 省 略 的 过 程 。 

受过 专业 训练 的 独立 测试 者 能 比 程序 员 发 现 更 多 的 错误 ,但 程序 员 进 行 单元 测试 比 测 
试 人 员 更 有 效 ,因为 测试 人 员 需 要 更 多 的 时 间 和 精力 了 解 程序 。 一 个 独立 的 测试 者 可 以 为 
开发 者 提供 合理 的 建议 和 辅助 ,以 帮助 他 们 计划 ,组织 和 执行 高 效 和 有 效 的 单元 测试 ,并 可 
为 多 个 程序 员 提 供 支 持 。 

单元 质量 决定 系统 质量 ,只 有 每 行 代 码 、 每 个 变量 .每 个 输入 数据 、 每 个 函数 调用 的 参数 
和 返回 值 都 被 测试 过 ,我 们 才能 对 软件 质量 有 足够 的 信心 。 就 像 一 辆 汽车 有 1 一 3 万 个 零 
件 ,一 架 波 音 747 飞机 有 600 万 个 零件 . 当 每 个 零件 可 靠 性 为 90%% ,总 体 只 有 34. 87%。 只 
有 提高 每 个 零件 的 质量 提高 到 99. 99% ,才能 达到 总 体 99.9%。 

在 单元 测试 阶段 , 某 些 问题 容易 被 发 现 且 容易 修改 ,但 是 这 些 问题 如 果 在 后 期 的 测试 中 
被 发 现 , 所 花 的 成 本 将 会 成 倍增 长 。 


3. 原理 


通常 单元 测试 考虑 以 下 几 个 方面 的 内 容 : 

(1) 接口 。 对 单元 接口 的 测试 保证 进出 软件 单元 的 数据 流 是 正确 的 ,这 是 一 个 最 基本 
的 测试 ,应 该 在 其 他 测试 之 前 进行 ,因为 如 果 数 据 不 能 正确 地 输入 和 输出 ,所 有 的 其 他 测试 
都 是 没有 实际 意义 的 。 

(2) 局 部 数据 结构 。 对 单元 局 部 数据 结构 的 测试 保证 临时 存储 的 数据 在 算法 执行 的 整 
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个 过 程 中 都 能 维持 其 完整 性 。 单 元 的 局 部 数据 结构 经 常 出 现 错误 ,一 般 使 用 数据 定义 使 用 
对 Data Definition-use Pair 和 程序 切片 (程序 切片 是 人 们 从 源 程 序 中 挑选 出 来 的 一 个 程序 
子 集 ) 测 试 方法 ,发 现 的 错误 包括 : 不 正确 或 不 一 致 的 类 型 描述 ; 错误 的 初始 化 或 默认 值 ; 
不 正确 的 变量 名 字 ; 不 一 致 的 数据 类 型 ;上游 .下游 和 地 址 错误 等 。 除 了 局 部 数据 结构 ,全 
局 数据 对 单元 的 影响 在 单元 测试 过 程 中 也 应 当 进行 审查 。 

(3) 边界 条 件 。 保 证 模块 单元 在 极限 或 某 些 严格 条 件 下 仍然 正确 执行 ,例如 ,错误 往往 
出 现在 一 个 元 数组 的 第 个 元 素 被 处 理 的 时 候 , 或 者 一 个 i 次 循环 的 第 i 次 执行 ,或 允许 
的 最 大 值 或 最 小 值 出 现 的 时 候 。 用 边界 值 方 法 可 以 有 效 地 发 现 这 类 错误 。 

(4) 独立 路 径 。 在 控制 结构 中 的 所 有 路 径 覆 盖 法 或 基本 路 径 覆 盖 法 都 是 需要 测试 的 ， 
以 保证 在 一 个 模块 中 的 所 有 语句 或 分 支 元 素 等 都 能 被 执行 一 次 。 测 试用 例 应 当 能 够 发 现 由 
于 错误 计算 ,不 正确 的 比较 或 者 不 正常 的 控制 流 而 产生 的 错误 ,包括 : 误解 的 或 不 正确 的 算 
术 优 先 级 ; 混合 模式 的 操作 ; 不 正确 的 初始 化 ; 精度 不 够 准确 ; 表达 式 的 不 正确 符号 表示 。 
当 比 较 和 控制 流 紧 密 地 耦合 在 一 起 , 即 控制 流 的 转移 是 在 比较 之 后 发 生 的 ,此 时 测试 用 例 应 
当 能 够 发 现 的 错误 包括 : 不 同 数据 类 型 的 比较 ; 不 正确 的 逻辑 操作 或 优先 级 ; 应 该 相等 的 
地 方 由 于 精度 的 错误 而 不 能 相等 ; 不 正确 的 比较 或 者 变量 ; 不 正常 的 或 者 不 存在 的 循环 终 
止 ; 当 遇 到 分 支 循环 的 时 候 不 能 退出 ; 不 适当 地 修改 循环 变量 等 。 

(5) 错误 处 理 路 径 。 要 对 所 有 处 理 错误 的 路 径 进 行 测试 ,好 的 设计 要 求 错误 条 件 是 可 
以 预料 的 ,而 当 错误 真 的 发 生 的 时 候 , 错 误 处 理 路 径 被 建立 ,以 重 定向 或 者 终止 处 理 。 在 错 
误 处 理 部 分 应 当 考 虑 潜在 的 错误 包括 : 对 错误 描述 不 够 准确 ; 所 报 的 错误 与 真正 遇 到 的 错 
误 不 一 致 ; 错误 条 件 在 错误 处 理 之 前 就 引起 了 系统 异常 ; 异常 条 件 处 理 不 正确 ; 错误 描述 
没有 提供 足够 的 信息 来 帮助 确定 错误 发 生 的 位 置 。 


4. 方法 


在 单元 测试 活动 中 ,软件 的 每 个 单元 应 在 与 程序 的 其 他 部 分 相隔 离 的 情况 下 进行 测试 ， 
一 般 分 两 步 : 人 工 检查 和 动态 执行 跟踪 。 前 者 主要 保证 代码 算法 的 逮 辑 正确 性 、 清 晰 性 、 规 
范 性 ,一 致 性 和 算法 高 效 性 ,并 尽 可 能 地 发 现 程序 中 潜在 的 错误 ; 后 者 通过 设计 测试 用 例 ， 
执行 待 测试 程序 来 跟踪 和 比较 实际 结果 与 预期 结果 ,以 发 现 错误 。 

制定 一 个 正确 的 单元 测试 策略 至 关 重 要 , 它 能 保证 单元 测试 活动 的 有 效 进行 ,目前 有 自 
顶 向 下 的 单元 测试 策略 、 自 底 向 上 的 单元 测试 策略 和 孤立 的 单元 测试 策略 3 种 方式 。 

(1) 自 项 向 下 的 单元 测试 策略 。 先 对 顶层 的 单元 进行 测试 ,把 顶层 所 调用 的 单元 做 成 
桩 模块 ,其 次 对 第 二 层 进行 测试 ,使 用 上 面 已 测试 的 单元 做 驱动 模块 ,以 此 类 推 ,直到 完成 所 
有 模块 的 测试 。 这 种 方法 的 优点 是 : 在 集成 测试 前 提供 系统 的 集成 途径 ,由 于 详细 设计 一 
般 都 是 自 顶 向 下 进行 设计 ,这 样 自 顶 向 下 的 单元 测试 策略 在 执行 上 同 详细 设计 的 顺序 一 致 ， 
该 方法 可 以 与 详细 设计 及 编码 进行 重 全 操作。 但 自 项 向 下 的 单元 测试 方法 的 不 足 之 处 是 : 
底层 单元 的 测试 须 等 待 顶层 单元 测试 完毕 之 后 才能 进行 ,并 行 性 不 好 ,测试 周期 长 。 

(2) 自 底 向 上 的 单元 测试 策略 。 先 对 模块 调用 图 上 最 底层 的 模块 进行 单元 测试 ,模拟 
调用 该 模块 的 模块 做 驱动 模块 ; 然后 再 对 上 面 一 层 做 单元 测试 .用 下 面 已 被 测试 过 的 模块 
做 桩 模块 ,以 此 类 推 ,直到 测试 完 所 有 模块 。 该 方法 优点 是 : 在 集成 测试 前 提供 系统 早期 的 
集成 途径 ,不 需要 桩 模块 ,测试 用 例 可 以 直接 从 功能 设计 中 获取 ,而 不 必 从 结构 设计 中 获取 ， 
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该 方法 在 详细 设计 文档 缺乏 结构 细节 时 比较 有 效 。 该 方法 的 不 足 之 处 是 : 无 法 并 行 , 顶 层 
的 单元 需要 等 待 底层 单元 测试 完 之 后 在 进行 测试 ,测试 周期 长 ,不 能 与 详细 设计 和 编码 重生 
进行 。 

(3) 孤立 的 单元 测试 策略 。 不 考虑 模块 间 的 关系 ,为 每 个 模块 设计 桩 模块 和 驱动 模块 ， 
每 个 模块 进行 独立 的 单元 测试 。 其 优点 是 : 简单 . 易 操作 、 可 并 行 。 不 足 之 处 是 : 不 提供 早 
期 的 集成 途径 ,需要 结构 设计 信息 ,使 用 桩 模块 和 驱动 模块 。 

在 单元 测试 中 ,影响 单元 测试 质量 的 因素 有 : 单元 测试 的 人 员 ,单元 测试 的 时 间 和 单元 
测试 的 过 程 。 其 中 单元 测试 过 程 包括 测试 计划 制定 、 测 试用 例 设计 与 生成 .执行 单元 测试 和 
单元 测试 的 评审 。 

表 3-1 简单 列 出 了 单元 测试 、 集 成 测试 和 系统 测试 的 区 别 和 联系 ,读者 可 以 丰富 其 


表 3-1 单元 测试 、 集 成 测试 和 系统 测试 的 区 别 与 联系 


测试 对 象 测试 内 容 测试 方法 联 系 
单元 测试 ”实现 具体 功能 的 程序 单元 ”程序 逻辑 功能 ,变量 。 白 盒 测试 ”单元 测试 中 引入 集成 测试 
和 接口 等 方法 
集成 测试 ”针对 概要 设计 ,测试 所 包 模块 间接 口 、 相 互 关 灰 盒 测 试 ”从 测试 人 员 角 度 ,发 现 软件 
含 的 模块 及 模块 组 合 系 以 及 组 合 后 是 否 达 开发 过 程 中 所 引入 的 错误 
到 预期 效果 
系统 测试 ”根据 需求 规格 说 明 书 进 ”从 用 户 角 度 测 试 系 统 。 黑 盒 测试 。 系统 测试 从 用 户 角度 考虑 ， 
行 ,测试 软件 系统 功能 和 性 能 是 否 满足 单元 测试 从 开发 者 角度 
用 户 需 求 考虑 


5. 优 缺 点 


单元 测试 是 一 种 验证 行为 ,程序 中 的 每 一 项 功能 都 是 通过 单元 测试 来 验证 它 的 正确 性 。 
它 为 以 后 的 开发 提供 支援 。 就 算是 开发 后 期 ,人 们 也 可 以 轻松 的 增加 功能 或 更 改 程序 结构 ， 
而 不 用 担心 这 个 过 程 中 会 破坏 重要 的 东西 。 而 且 它 为 代码 的 重 构 提 供 了 保障 。 这 样 ,我 们 
就 可 以 更 自由 地 对 程序 进行 改进 。 

单元 测试 是 一 种 设计 行为 ,编写 单元 测试 将 使 测试 人 员 从 调用 者 观察 .思考 。 特 别 是 先 
写 测试 (Test-first) ,迫使 程序 员 把 程序 设计 成 易于 调用 和 可 测试 的 , 即 迫 使 程序 员 解 除 软 
件 中 的 耦合 。 

单元 测试 是 一 种 编写 文档 的 行为 ,单元 测试 产生 的 文档 是 一 种 无 价 的 文档 , 它 是 展示 拖 
数 或 类 如 何 使 用 的 最 佳 文档 。 这 份 文档 是 可 编译 、 可 运行 的 ,并 且 它 保持 最 新 ,永远 与 代码 
同步 。 

单元 测试 具有 回归 性 , 即 模块 单元 需要 不 断 地 改进 和 再 验证 ,自动 化 的 单元 测试 可 以 支 
持 模块 单元 代码 的 回归 测试 ,编写 完成 之 后 ,可 以 随时 随地 地 快速 运行 测试 。 

但 单元 测试 毕 竞 是 对 局 部 模块 的 测试 ,无 法 保证 当 这 些 模 块 集成 在 一 起 时 ,系统 是 否 工 
作 , 这 就 需要 进行 集成 测试 。 


习题 3.1 
1. 简 述 单元 测试 的 主要 目标 。 
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2. 单元 测试 的 优 缺 点 有 哪些 ? 
3. 单元 测试 与 集成 测试 .系统 测试 有 哪些 区 别 和 联系 ? 


6.2 集成 测试 (Integration Testing) 


尽管 每 个 模块 都 经 过 了 严格 的 单元 测试 ,每 个 模块 都 能 单独 工作 ,但 将 这 些 模块 集成 在 
一 起 之 后 ,往往 可 能 出 现 异常 情况 ,例如 某 些 模块 不 能 正常 工作 、 接 口 数据 丢失 ,模块 之 间 的 
不 良 影响 ,误差 的 不 断 积累 等 。 因 此 ,单元 测试 无 法 代替 集成 测试 ,每 个 模块 的 性 能 最 优 并 
不 能 保证 集成 之 后 的 指标 最 优 , 在 单元 测试 之 后 ,必须 进行 系统 的 集成 测试 。 


1. 概念 


集成 测试 是 在 单元 测试 的 基础 上 ,将 所 有 已 通过 单元 测试 的 模块 ,采用 适当 的 集成 策 
略 ,按照 概要 设计 的 要 求 组 装 为 子 系统 或 系统 ,目的 是 确保 各 单元 模块 组 合 在 一 起 后 能 够 按 
照 概要 设计 要 求 运行 ,检测 增 量 的 行为 是 否 正确 。 集 成 测试 之 前 必须 进行 单元 测试 ,否则 
其 效果 和 效率 必 将 大 打折 扣 。 集 成 测试 也 叫 组 装 测试 、 联 合 测试 、 子 系统 测试 或 部 件 测 
试 ,测试 用 例 的 设计 方法 可 以 使 用 黑 盒 测试 和 白 盒 测 试 , 因 此 人 们 一 般 把 集成 测试 归 为 
灰 盒 测试 。 


2. 目标 


集成 测试 主要 检测 模块 之 间 的 接口 和 各 个 模块 集成 后 实现 的 功能 ,具体 包括 以 下 几 个 
方面 的 问题 : 

(1) 几 个 模块 连接 起 来 后 , 穿 过 模块 接口 的 数据 是 否 会 丢失 ,是否 能 够 按照 预期 将 数据 
传递 给 另外 一 个 模块 。 

(2) 各 个 模块 连接 起 来 后 ,需要 检测 是 否 存在 单元 测试 时 没有 发 现 的 资源 竞争 问题 。 

(3) 将 通过 单元 测试 的 子 功能 模块 集成 到 一 起 ,检测 是 否 可 以 实现 所 期 望 的 软件 功能 。 

(4) 兼容 性 。 检 查 当 引入 一 个 模块 后 ,该 模块 是 否 对 其 他 与 之 相关 的 模块 产生 负面 的 
影响 。 

(5) 全 局 数据 结构 是 否 正确 ,是 否 被 不 恰当 地 修改 了 。 

(6) 在 集成 后 ,每 个 模块 的 误差 是 否 会 扩大 ,是 否 会 达到 不 可 接受 的 程度 。 


3. 原理 


由 于 集成 测试 处 在 单元 测试 和 系统 测试 的 过 渡 阶 段 , 因 此 集成 测试 工作 的 好 坏 在 整个 
测试 过 程 中 起 着 至 关 重 要 的 作用 , 它 负责 查找 各 个 模块 集成 前 ,在 单元 测试 时 遗漏 的 以 及 无 
法 发 现 的 问题 ,而 且 为 系统 测试 的 进行 打 基础 。 若 集成 测试 工作 做 得 不 够 充分 和 周密 ,会 
接 降低 系统 测试 的 效果 和 效率 ,例如 ,难以 对 系统 测试 时 发 现 的 错误 进行 定位 ,浪费 宝贵 的 
测试 资源 。 

与 软件 开发 之 前 要 做 好 系统 分 析 一 样 ,集成 测试 也 要 进行 系统 的 分 析 , 具 体 包括 体系 结 
构 分 析 、 模 块 分 析 、 接 口 分 析 、 风 险 分 析 、 可 测试 性 分 析 和 集成 测试 策略 分 析 等 。 
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4. 方法 


周密 细致 的 集成 测试 分 析 为 选择 和 确定 集成 测试 方法 提供 了 重要 的 参考 依据 ,因此 ,可 
以 说 集成 测试 方法 是 建立 在 测试 分 析 基础 上 的 ,具体 包括 : 大 爆炸 集成 、 自 顶 向 下 集成 、 自 
底 向 上 集成 .两 头 夹 集成 .基于 风险 的 集成 .基于 事件 的 集成 、 基 于 使 用 的 集成 等 ,以 下 简介 
这 些 方法 。 

(1) 大 爆炸 集成 。 也 称 为 一 次 性 组 装 或 整体 拼装 ,就 是 把 所 有 通过 单元 测试 的 模块 一 
次 性 集成 到 一 起 进行 测试 ,不 考虑 组 件 间 的 互相 依赖 及 可 能 存在 的 风险 ,这样 尽 可 能 缩短 测 
试 时 间 ,使 用 最 少 的 测试 用 例 验 证 系统 。 

(2) 自 顶 向 下 集成 。 就 是 按照 系统 层次 结构 图 ,以 主 程序 模块 为 中 心 , 自 上 而 下 按照 深 
度 优先 或 者 广度 优先 策略 ,对 每 个 模块 一 边 组 装 一 边 进行 测试 。 

(3) 自 底 向 上 集成 。 从 依赖 性 最 小 的 底层 模块 开始 ,按照 层次 结构 图 , 逐 层 向 上 集成 ， 
对 于 某 一 层次 的 特定 模块 ,因为 它 的 子 模块 已 经 组 装 并 测试 完成 ,所 以 不 再 需要 桩 模块 ,在 
测试 过 程 中 如 果 需 要 从 子 模块 得 到 信息 可 以 直接 运行 子 模 块 得 到 , 即 在 测试 过 程 中 只 需要 
开发 相应 的 驱动 模块 。 

(4) 两 头 夹 集成 。 也 称 三 明治 集成 ,是 一 种 混合 增 量 式 测试 策略 ,综合 了 自 项 向 下 和 自 
底 向 上 两 种 集成 方法 的 特点 。 该 方法 首先 在 软件 层次 结构 图 中 选 定 一 层 ,确定 该 层 以 下 部 
分 进行 自 底 向 上 集成 测试 ,该 层 以 上 部 分 进行 自 顶 向 下 集成 测试 ,最 后 对 系统 进行 整体 
测试 。 

(5) 基于 功能 的 集成 。 从 功能 实现 的 角度 出 发 ,按照 模块 的 功能 重要 程度 组 织 模块 的 
集成 顺序 , 先 对 开发 中 最 主要 的 功能 模块 进行 集成 测试 ,以 此 类 推 最 后 完成 整个 系统 的 集成 
测试 。 

(6) 基于 风险 的 集成 。 在 软件 系统 中 ,风险 最 高 的 模块 间 的 集成 往往 是 错误 集中 的 地 
方 , 因 此 尽早 地 验证 这 些 接口 有 助 于 系统 的 稳定 。 基 于 风险 的 集成 和 基于 功能 的 集成 有 类 
似 的 地 方 ,两 者 可 以 结合 使 用 。 

(7) 基于 使 用 的 集成 。 针 对 面向 对 象 系统 ,根据 类 之 间 的 依赖 关系 来 集成 系统 ,从 而 验 

还 有 一 些 其 他 方法 ,例如 基于 调用 图 的 集成 .基于 路 径 的 集成 、 基 于 进度 的 集成 .基于 事 
件 的 集成 等 ,这 些 方法 都 是 从 一 些 不 同 角 度 和 不 同方 面 提出 集成 策略 ,可 以 有 效 弥补 已 有 方 
法 的 不 足 ,是 集成 测试 策略 的 重要 补充 ,具有 各 自 的 合理 性 和 科学 价值 。 


5. 优 缺 点 


集成 测试 是 一 个 由 单元 到 系统 的 过 渡 性 测试 ,由 于 其 位 置 的 特殊 性 ,而 容易 被 忽视 。 集 
成 测试 可 以 保证 各 个 经 过 测试 的 单个 模块 在 集成 起 来 之 后 也 能 正常 工作 ,但 集成 测试 的 效 
果 往 往 依赖 于 集成 策略 。 


习题 3.2 


1. 集成 测试 与 软件 开发 具有 什么 样 的 关系 ? 
2. 集成 测试 策略 一 共有 多 少 种 ? 简 述 它们 的 特点 。 


第 3 章 ”开发 过 程 中 的 测试 


6E.3 系统 测试 (System Testing) 


所 有 单元 经 集成 测试 之 后 ,各 模块 被 连接 起 来 ,形成 相对 完整 的 系统 ,此 时 模块 内 部 及 
模块 之 间 的 接口 在 现 有 测试 条 件 下 ,不 再 发 现 错误 ,测试 进入 系统 测试 阶段 。 系 统 测试 属于 
黑 盒 测试 ,包括 功能 测试 ,性 能 测试 等 多 个 不 同 的 测试 组 成 。 


1. 概念 


系统 测试 是 将 已 经 过 良好 的 集成 测试 的 软件 系统 ,作为 整个 计算 机 系统 的 一 部 分 ,与 计 
算 机 硬件 .外 部 设备 ,支持 软件 .数据 以 及 人 员 等 其 他 系统 元 素 结合 在 一 起 ,在 实际 使 用 环境 
下 对 计算 机 系统 进行 一 系列 的 严格 测试 ,以 发 现 软件 中 潜在 的 缺陷 ,保证 系统 交付 给 用 户 之 
后 能 够 正常 使 用 ,满足 用 户 需 求 。 系 统 测试 是 产品 交付 前 最 后 一 个 测试 环节 ,具有 重要 的 
地 位 。 


2. 目标 


系统 测试 的 目标 是 保证 开发 方 交 给 用 户 的 软件 产品 能 够 满足 用 户 的 需求 ,已 经 集成 的 
系统 中 每 个 部 分 都 可 以 正确 地 完成 指定 的 功能 ,因此 ,系统 测试 应 在 实际 的 用 户 环 境 下 执 
行 , 一 般 涉 及 软件 、 硬 件 、 网 络 等 多 方面 因素 ,除了 要 进行 功能 测试 之 外 ,还 要 对 软件 性 能 、 安 
全 性 ,兼容 性 、 用 户 界面 、 可 恢复 性 、 可 安装 性 等 方面 质量 属性 进行 有 针对 性 的 测试 。 


3. 原理 


系统 测试 要 通过 与 系统 的 需求 定义 做 比较 ,发 现 软 件 与 系统 定义 不 符合 或 与 之 矛盾 的 
地 方 ,以 验证 软件 系统 的 功能 和 性 能 等 满足 其 规约 所 指定 的 要 求 。 系 统 测试 的 测试 用 例 应 
根据 需求 分 析 说 明 书 来 设计 ,并 在 实际 使 用 环境 下 来 运行 。 

由 于 软件 只 是 计算 机 系统 中 的 一 个 组 成 部 分 ,软件 开发 完成 以 后 ,最 终 还 要 与 系统 中 其 
他 部 分 配套 运行 。 系 统 在 投入 运行 以 前 各 部 分 需 完成 组 装 和 确认 测试 ,以 保证 各 组 成 部 分 
能 够 协调 运行 ,正常 工作 。 


4. 方法 


与 其 他 测试 一 样 ,系统 测试 也 应 该 按照 测试 计划 进行 ,其 输入 、 输 出 和 其 他 动态 行为 应 
该 与 软件 规约 进行 对 比 。 软 件 系统 测试 的 方法 很 多 ,主要 有 功能 测试 .性 能 测试 .随机 测试 、 
安全 性 测试 ,容量 测试 .压力 测试 .兼容 性 测试 转换 测试 .可 用 性 测试 ,文档 测试 .备份 测试 、 
恢复 性 测试 .安装 测试 、 在 线 帮 助 测试 .用户 界面 测试 和 协议 一 致 性 测试 等 ,具体 这 些 方面 的 
测试 方法 将 在 下 一 章 详细 介绍 。 系 统 测试 执行 中 一 个 关键 的 考虑 是 不 能 由 程序 员 来 进行 测 
试 ,最 好 必须 选择 不 受 开发 方 左右 的 人 群 ,或 第 三 方 机 构 来 进行 系统 测试 。 


习题 3.3 
1. 简 述 系统 测试 定义 。 
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2. 系统 测试 应 该 由 什么 人 进行 ? 
3. 系统 测试 的 主要 测试 技术 有 哪些 ? 


@.4 验收 测试 (Acceptance Testing) 


软件 产品 在 开发 完成 之 后 ,要 进行 软件 的 验收 和 交付 。 验 收 测试 在 系统 测试 通过 后 开 
始 ,在 某 种 意义 上 是 由 用 户 或 客户 进行 的 系统 测试 ,但 又 不 是 系统 测试 的 重复 ,验收 测试 不 
同 于 系统 测试 的 主要 之 处 是 ,验收 测试 以 用 户 和 用 户 代 表 为 主 ,以 测试 人 员 为 辅 的 测试 ,一 
般 在 用 户 方 的 真实 使 用 环境 中 进行 ,使 用 真实 的 数据 。 


1. 概念 


验收 测试 是 根据 用 户 的 需求 而 进行 的 ,是 整个 测试 过 程 中 的 最 后 阶段 。 在 执行 这 类 测 
试 时 ,最 终 用 户 要 参与 其 中 。 验 收 测试 计划 过 程 应 该 在 需求 确定 之 后 尽快 开始 进行 ,在 软件 
生命 周期 的 早期 进行 此 项 工作 时 很 重要 ,因为 验收 测试 的 出 口 准则 为 产品 的 验收 奠定 了 基 
础 ,验收 测试 计划 和 验收 测试 用 例 应 该 非常 准确 地 描述 未 来 软件 产品 的 特性 ,在 外 包 开 发 的 
情况 下 ,验收 测试 计划 和 测试 用 例 一 般 要 成 为 外 包 合同 的 一 个 组 成 部 分 。 


2. 目标 


验收 测试 是 证 明 需 求 的 有 效 性 和 为 取得 用 户 的 认可 而 提供 支持 的 一 种 很 有 价值 的 手 
段 。 验 收 测试 和 系统 测试 的 主要 差别 是 测试 的 主体 , 即 由 谁 进行 的 测试 工作 。 当 用 户 在 系 
统 测试 中 起 到 十 分 积极 的 作用 时 ,而 且 测 试 环境 足够 真实 ,那么 验收 测试 和 系统 测试 合并 在 
一 起 是 非常 有 意义 的 。 另 外 一 种 情况 ,用 户 不 参与 任何 测试 ,验收 测试 由 专门 的 测试 团队 独 
立 做 ,此 时 验收 测试 和 系统 测试 是 一 样 的 。 


3. 原理 


用 户 或 代表 用 户 的 第 三 方 测试 机 构 在 验收 测试 过 程 中 起 着 十 分 重要 的 作用 ,他 们 需要 
根据 需求 ,识别 业务 风险 ,建立 ,更 新 或 评审 验收 测试 计划 ,定义 真实 的 基于 场景 的 测试 , 提 
供 真实 的 测试 数据 ,执行 测试 ,评审 测试 输出 ,以 及 提供 验收 标准 等 工作 。 

在 验收 测试 中 需求 的 跟踪 是 重要 方面 ,需求 跟踪 就 是 指 确保 一 个 或 多 个 测试 用 例 能 够 
覆盖 到 每 个 需求 ,需求 跟踪 是 一 个 较 高 等 级 的 覆盖 度量 ,这 个 度量 也 是 测试 有 效 性 度量 的 一 
种 手段 ,验收 测试 需要 向 用 户 或 其 代表 表明 所 有 的 需求 都 得 到 了 满足 。 


4. 方法 


验收 测试 的 方法 与 系统 测试 的 方法 是 一 致 的 ,只 是 测试 主体 不 一 样 。 通 常 验收 测试 具 
有 a 测试 和 8B 测试 两 种 不 同类 型 。 后 面 章 节 将 单独 介绍 。 

经 过 集成 测试 ,已 经 按照 设计 把 所 有 模块 组 装 成 一 个 完整 的 软件 系统 ,接口 错误 也 已 经 
基本 排除 了 ,接着 就 应 该 进一步 验证 软件 的 有 效 性 ,这 就 是 验收 测试 的 任务 。 但 是 ,什么 样 
的 软件 才 是 有 效 的 呢 ? 软件 有 效 性 的 一 个 简单 定义 是 : 如 果 软 件 的 功能 和 性 能 如 同 用 户 所 
合理 地 期 待 的 那样 , 则 软件 是 有 效 的 。 在 需求 分 析 阶 段 产生 的 文档 准确 地 描述 了 用 户 对 软 
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件 的 合理 期 望 ,因此 是 软件 有 效 的 标准 ,也 是 验收 测试 的 基础 。 

验收 测试 的 目的 是 向 未 来 的 用 户 表明 系统 能 够 像 预 定 要求 那 样 工作 。 验 收 测试 的 范围 
与 系统 测试 类 似 , 但 是 也 有 一 些 差别 ,具体 如 下 : 

(1) 某 些 已 经 测试 过 的 纯粹 技术 性 的 特点 可 能 不 需要 再 次 测试 。 

(2) 对 用 户 特别 感 兴趣 的 功能 或 性 能 ,可 能 需要 增加 一 些 测试 。 

(3) 通常 主要 使 用 生产 中 的 实际 数据 进行 测试 。 

(4) 可 能 需要 设计 并 执行 一 些 与 用 户 使 用 步 又 有 关 的 测试 。 

验收 测试 必须 有 用 户 积极 参与 ,或 者 以 用 户 为 主 进行 。 用 户 应 该 参加 设计 测试 方案 ,使 
用 用 户 接口 输入 测试 数据 并 且 分 析 评 价 测试 的 输出 结果 。 为 了 使 用 户 能 够 积极 主动 地 参与 
验收 测试 ,特别 是 为 了 使 用 户 能 有 效 地 使 用 这 个 系统 ,通常 在 验收 之 前 由 开发 部 门 对 用 户 进 
行 培训 。 

验收 测试 一 般 使 用 黑 盒 测试 法 。 应 该 仔细 设计 测试 计划 和 测试 过 程 ,测试 计划 包括 要 
进行 的 测试 的 种 类 和 进度 安排 ,测试 过 程 规定 用 来 检验 软件 是 否 与 需求 一 致 的 测试 方案 。 
通过 测试 要 保证 软件 能 满足 所 有 功能 要 求 , 能 达到 每 个 性 能 要 求 , 文 档 资 料 是 准确 而 完 
整 的 ,此 外 ,还 应 该 保证 软件 能 满足 其 他 预定 的 要 求 ( 例 如 ,可 移植 性 .兼容 性 和 可 维护 性 
等 等 ) 。 

验收 测试 有 下 列 两 种 可 能 的 结果 : 

(1) 功能 和 性 能 与 用 户 要 求 一 致 ,软件 是 可 以 接受 的 。 

(2) 功能 或 性 能 与 用 户 的 要 求 有 差距 。 

在 这 个 测试 阶段 发 现 的 问题 往往 和 需求 分 析 阶 段 的 差错 有 关 ,涉及 的 面 通 常 比 较 广 , 因 
此 解决 起 来 也 比较 困难 。 为 了 确定 解决 验收 测试 过 程 中 发 现 的 软件 缺陷 或 错误 的 策略 , 通 
常 需要 和 用 户 充分 协商 。 

验收 测试 的 一 个 重要 内 容 是 复查 软件 配置 。 复 查 的 目的 是 保证 软件 配置 的 所 有 成 分 都 
齐全 ,各 方面 的 质量 都 符合 要 求 ,文档 与 程序 一 致 ,具有 维护 阶段 所 必需 的 细节 ,而 且 已 经 编 
排 好 目录 。 

除了 按 合同 规定 的 内 容 和 要 求 由 人 工 审查 软件 配置 之 外 ,在 验收 测试 的 过 程 中 应 该 严 
格 遵循 用 户 指南 以 及 其 他 操作 程序 ,以 便 检 验 这 些 使 用 手册 的 完整 性 和 正确 性 。 必 须 仔 细 
记录 发 现 的 遗漏 或 错误 ,并且 适 当地 补充 和 改正 。 


习题 3.4 
1. 验收 测试 主要 检查 哪些 方面 的 内 容 ? 
2， 怎样 进行 验收 测试 ? 
[3.5 回归 测试 (Regression Testing) 


软件 开发 不 是 一 次 性 完成 的 ,需要 经 过 不 断 的 改进 、 演 化 和 升级 ,这 些 改变 会 给 软件 系 
统 带 来 风险 : 一 方面 ,软件 系统 的 演化 和 升级 是 否 正确 ; 另 一 方面 ,关于 软件 的 修改 是 否 可 
能 会 引入 新 的 错误 。 在 软件 生命 周期 中 的 任何 一 个 阶段 ,只 要 软件 发 生 了 改变 ,就 有 可 能 给 
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该 软件 带 来 问题 ,而 回归 测试 是 一 种 验证 已 变更 的 系统 的 完整 性 和 正确 性 的 测试 技术 。 
此 ,每 当 软 件 发 生变 化 时 ,就 必须 重新 测试 ,以 便 确 定 修改 是 否 达到 了 预期 目的 ,检查 修改 是 
否 损 害 了 原 有 的 正常 功能 。 同 时 还 要 补充 新 的 测试 用 例 来 测试 新 的 或 被 修改 的 功能 。 为 了 
验证 修改 的 正确 性 及 其 影响 就 必须 进行 回归 测试 。 


1. 概念 


回归 测试 是 指 待 测试 软件 中 的 错误 被 修改 以 后 或 增加 了 新 的 功能 等 ,重新 进行 测试 以 
确认 修改 的 正确 性 , 且 没 有 引入 新 的 错误 或 导致 其 他 代码 产生 错误 。 回 归 测 试 的 自动 化 将 
大 幅 降 低 系 统 测试 维护 升级 等 阶段 的 成 本 。 

回归 测试 作为 软件 生命 周期 的 一 个 组 成 部 分 ,在 整个 软件 测试 过 程 中 占有 很 大 的 工作 
量 比重 ,软件 开发 的 各 个 阶段 都 会 进行 多 次 回归 测试 。 在 渐进 和 快速 选 代 开发 中 ,新 版 本 的 
连续 发 布 使 回归 测试 进行 的 更 加 频繁 ,而 在 极限 编程 方法 中 ,更 是 要 求 每 天 都 进行 若干 次 回 
归 测 试 。 因 此 ,通过 选择 正确 的 回归 测试 策略 来 改进 回归 测试 的 效率 和 有 效 性 是 非常 有 意 
义 的 。 

2. 方法 


回归 测试 需要 时 间 、 经 费 和 人 力 来 计划 、 实 施 和 管理 。 为 了 在 给 定 的 预算 和 进度 下 尽 可 
能 有 效率 和 有 效 地 进行 回归 测试 ,需要 对 测试 用 例 集 进行 维护 并 依据 一 定 的 策略 选择 相应 
的 回归 测试 用 例 ,包括 删 除 过 时 的 测试 用 例 改进 不 受 控制 的 测试 用 例 、 删 除 完 余 的 测试 用 
例 .增添 新 的 测试 用 例 等 ,然后 再 测试 全 部 用 例 。 测 试用 例 选 择 策略 包括 基于 风险 选择 测 
试 . 基 于 操作 剖面 选择 测试 等 。 有 了 测试 用 例 集 的 维护 方法 和 回归 测试 包 的 选择 策略 ,回归 
测试 可 遵循 下 述 基 本 过 程 进行 : 

(1) 识别 出 软件 中 被 修改 的 部 分 。 

(2) 从 原 基线 测试 用 例 集 T 中 ,排除 所 有 不 再 适用 的 测试 用 例 ,确定 那些 对 新 的 软件 版 
本 依然 有 效 的 测试 用 例 ,其 结果 是 建立 一 个 新 的 基线 测试 用 例 集 T0。 

(3) 依据 一 定 的 策略 从 To 中 选择 测试 用 例 测试 被 修改 的 软件 。 

(4) 如 果 必 要 ,生成 新 的 测试 用 例 集 T1, 用 于 测试 To 无 法 充分 测试 的 软件 部 分 。 

(5) 用 Tl 执行 修改 后 的 软件 。 

其 中 第 (2) 和 第 (3) 步 测试 验证 修改 是 否 破坏 了 现 有 的 功能 ,第 (4) 和 第 (5) 步 测试 验证 
修改 工作 本 身 。 

回归 测试 的 另 一 个 重要 问题 是 回归 测试 用 例 集 的 优化 , 即 把 回归 测试 用 例 按照 执行 先 
后 进行 排序 ,使 得 按照 该 次 序 执行 时 ,回归 测试 可 以 最 早 发 现 软件 故障 ,或 最 快 达到 覆盖 要 
求 , 或 在 测试 资源 有 限 的 情况 下 ,只 执行 最 重要 的 测试 用 例 。 


习题 3.5 


1. 为 什么 要 进行 回归 测试 ? 
2. 回归 测试 与 一 般 的 软件 测试 不 同 点 在 哪里 ? 
3. 回归 测试 中 有 哪些 关键 问题 ? 
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6.6 a 测试 


1. 概念 


a 测试 是 在 开发 机 构 内 部 的 用 户 在 模拟 实际 使 用 环境 下 进行 的 测试 ,通常 开发 者 就 在 
用 户 旁 边 , 随 时 记 下 错误 情况 和 使 用 中 的 问题 ,这 一 种 在 受 控制 的 环境 下 进行 的 验收 测试 。 
a 测试 前 应 当 将 测试 目的 明确 地 传达 给 测试 参与 人 员 , 应 当 向 测试 参与 人 员 介 绍 一 些 项 目 
的 历史 背景 知识 ,测试 人 员 要 在 测试 期 间 提 供 协助 ,并 给 出 测试 的 一 般 规则 。 


2. 目标 


a 测试 主要 用 于 发 现 以 下 一 些 问 题 ; 概念 性 缺陷 或 者 与 主题 不 协调 的 地 方 ; 发 现 与 功 
能 需求 和 项 目 规格 不 符合 的 地 方 ; 发 现 拼写 、 标 点 以 及 习惯 用 法 方面 的 错误 ; 发 现 图 形 的 
位 置 错误 ; 发 现 不 准确 、 不 清晰 或 者 不 完整 的 图 形 及 标题 等 。 


3. 方法 


参与 a 测试 的 人 员 需 要 随时 记 下 对 系统 的 建议 ,建议 应 该 足够 详细 ,以 便 能 指导 修改 ; 
要 按照 计划 进行 a 测试 ,在 时 间 不 足 的 情况 下 ,可 以 提醒 测试 参与 人 员 关 注 软件 系统 的 重要 
部 分 ,对 系统 提出 必须 修改 ,一 般 修 改 或 改进 型 修改 等 建议 。 

进行 a 测试 时 可 能 会 使 用 到 观察 实验 室 , 利 用 摄像 机 等 工具 记录 测试 现场 。 


4. 优 缺 点 


a 测试 是 由 一 个 用 户 在 开发 环境 下 进行 的 测试 ,也 可 以 是 开发 机 构 内 部 的 用 户 在 模拟 
实际 操作 环境 下 进行 的 测试 。a 测试 的 目的 是 评价 软件 产品 的 FLURPS, 即 功能 
(Function)、 局 域 化 (Localization)、 可 使 用 性 (Usability)、 可靠 性 (Reliability)、 性 能 
(Performance) 和 支持 (Support) ,尤其 注重 产品 的 界面 和 特色 。a 测试 人 员 是 除 产品 开发 人 
员 之 外 首先 见 到 产品 的 人 ,他 们 提出 的 功能 和 修改 意见 是 特别 有 价值 的 。w 测试 可 以 从 产 
品 编码 结束 之 时 开始 ,或 在 单元 测试 完成 之 后 开始 ,也 可 在 验收 测试 过 程 中 产品 达到 一 定 的 
稳定 和 可 靠 程度 以 后 再 开始 。 但 a 测试 不 是 在 真实 的 用 户 环境 中 的 测试 ,有 些 在 用 户 环境 
中 才 出 现 的 问题 很 难 检 测 到 。 


习题 3.6 
a 测试 主要 检查 软件 哪些 方面 的 问题 ? 


@.3 8 测试 


1. 概念 


8 测试 是 由 软件 的 多 个 用 户 在 实际 使 用 环境 下 进行 的 测试 ,这 些 测试 参与 人 员 是 与 公 
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司 签订 了 8B 测试 合同 的 外 部 用 户 ,他们 被 要 求 使 用 软件 系统 ,并 愿意 返回 有 关 错 误 信息 给 开 
发 公司 ,与 a 测试 不 同 是 ,开发 者 不 在 测试 现场 ,因而 ,8 测试 是 在 开发 者 无 法 控制 的 环境 下 
进行 的 软件 测试 。 


2. 方法 


经 过 a 测试 调整 的 软件 产品 称 为 B 版 本 。8B 测试 是 由 软件 的 多 个 用 户 在 实际 使 用 环境 
下 进行 的 测试 ,这 些 用 户 返 回 有 关 错 误 信息 给 开发 者 。 测 试 时 ,开发 者 通常 不 在 测试 现场 。 
因而 ,8 测试 是 在 开发 者 无 法 控制 的 环境 下 进行 的 软件 现场 应 用 。 在 B 测试 中 ,由 用 户 记 下 
遇 到 的 所 有 问题 ,包括 真实 的 以 及 主观 认定 的 ,定期 向 开发 者 报告 。B 测试 主要 衡量 产品 的 
FLURPS ,着 重 于 产品 的 支持 性 ,包括 文档 客户 培训 和 支持 产品 生产 能 力 。 

只 有 当 a 测试 达到 一 定 的 可 靠 程 度 时 ,才能 开始 B 测试 。 它 处 在 整个 测试 的 最 后 阶段 。 
同时 ,产品 的 所 有 手册 文本 也 应 该 在 此 阶段 完全 定稿 。 


3. 优 缺 点 


B 测 试 通常 在 产品 发 布 到 市 场 之 前 ,邀请 公司 的 客户 参与 产品 的 测试 工作 ,这 种 方法 可 
以 有 效 提 升 产品 的 价值 ,因为 它 使 那些 实际 的 客户 有 机 会 把 自己 的 意见 渗透 到 公司 产品 的 
设计 、 功 能 和 使 用 过 程 中 。 

尽管 B 测 试 越 来 越 广泛 ,但 它 并 不 能 代替 测试 ,因为 B 测 试 人 员 不 是 专业 的 测试 人 
员 ,很 难 发 现 深层 次 的 问题 ,更 多 的 发 现 是 停留 在 易 用 性 方面 。 其 次 ,B 测试 是 在 不 可 控 的 
环境 下 进行 的 ,因此 无 法 了 解 8 测试 人 员 实 际 是 如 何 操作 系统 的 ,很 多 B 测试 人 员 反馈 的 问 
题 是 由 于 使 用 不 当 引 起 的 ,而 且 B 测 试 人 员 反 馈 的 问题 信息 很 简单 ,经 常 无 法 重 现 。 


习题 3.7 
“测试 与 B 测 试 有 什么 不 同 ? 


@.8 7 测试 


7 测试 是 在 a 测试 与 B 测 试 之 后 的 第 3 个 阶段 ,此 时 产品 已 经 相当 成 熟 , 只 需 在 个 别 地 
方 ,如 用 户 手 册 、 软 件 包 等 再 做 进一步 的 优化 处 理 即 可 上 市 发 行 。 


习题 3.8 
伴随 软件 开发 整个 过 程 , 有 哪些 主要 的 阶段 性 测试 ? 


软件 由 很 多 部 分 组 成 ,如 文档 程序 以 及 支持 服务 等 ; 软件 具有 很 多 功能 ,如 安装 、 印 载 
以 及 使 用 等 ; 衡量 软件 质量 需要 考虑 很 多 因素 及 各 种 性 能 ,例如 ,安全 性 ,容错 性 、 可 靠 性 
等 。 因 此 可 以 根据 需要 ,对 软件 的 每 个 部 分 、 每 个 局 部 功能 以 及 每 个 质量 属性 进行 专门 的 测 
试 ,本 章 重点 介绍 软件 的 各 种 专门 特性 以 及 各 个 方面 的 测试 。 


@.1 压力 测试 (Stress Testing) 


1. 概念 


压力 测试 (Stress Testing) ,也 称 强度 测试 ,是 指 持续 不 断 地 给 被 测试 系统 增加 压力 , 直 
到 被 测试 系统 被 压 垮 , 从 而 确定 系统 能 承受 的 最 大 压力 。 它 属于 性 能 测试 ,但 与 常规 的 性 能 
测试 不 同 ,因为 常规 的 性 能 测试 是 指 在 正常 的 软 硬 件 环境 下 运行 ,不 向 其 施加 任何 压力 的 性 
能 。 压 力 测试 为 了 发 现在 什么 条 件 下 系统 性 能 变 得 不 可 承受 ,以 获得 系统 能 够 提供 的 最 大 
服务 级 别 。 

一 个 好 的 软件 系统 在 极限 状态 下 ,即使 来 不 及 响应 ,也 不 会 死机 ,并 能 在 负荷 恢复 正常 
后 一 段 时 间 内 可 以 恢复 正常 运转 。 如 果 一 个 软件 系统 在 极限 压力 下 会 完全 死机 ,并 且 不 得 
不 重启 系统 才能 正常 工作 ,人 们 对 此 往往 不 会 满意 。 当 然 ,如果 一 个 系统 只 要 重新 启动 ,就 
能 恢复 正常 工作 ,有 时 也 算 一 个 优点 。 

压力 测试 中 存在 一 个 累积 效应 的 问题 ,在 压力 测试 过 程 中 为 了 确保 “干净 ”的 测试 环境 ， 
需要 频繁 地 让 系统 重启 ,这样 有 利于 分 析 问 题 。 但 这 种 方式 容易 忽略 累积 效应 ,使 得 一 些 缺 
陷 无 法 及 时 发 现 。 特 别 是 服务 器 端的 压力 测试 ,往往 单 次 测试 时 问题 表现 不 明显 ,只 有 日 积 
月 累 才 能 造成 严重 问题 。 


2. 目标 


压力 测试 强制 软件 运行 在 超出 极限 的 不 正常 情况 下 ,检验 软件 可 以 运行 到 何 种 程度 , 具 
体 测 试 要 求 包括 : 提供 最 大 处 理 的 信息 量 ; 提供 数据 能 力 的 饱和 实验 指标 ; 提供 最 大 存储 
范围 (如 常 驻 内 存 、 缓 冲 、 表 格 区 ,临时 信息 区 ); 在 能 力 降级 时 进行 测试 ; 进行 其 他 健壮 性 
测试 (测试 在 人 为 错误 下 的 反应 ,如 寄存 器 数据 的 跳 变 、 错 误 的 接口 状态 ); 进行 持续 规定 时 
间 且 连续 不 能 中 断 的 测试 。 

压力 测试 应 该 测试 所 有 产品 文档 中 声明 的 程序 行为 的 所 有 极限 值 。 应 该 检查 软件 能 处 
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理 的 文件 大 小 、 能 驱动 的 打印 机 数量 ,以 及 能 管理 的 终端 ,调制解调器 和 内 存 数 量 ,打开 程序 
允许 的 最 大 数量 文件 。 还 应 该 检查 程序 能 及 时 处 理 多 少 事件 ,一 段 时 间 内 又 能 处 理 多 少 。 如 
果 没 有 规定 极限 ,就 测试 一 个 非常 大 的 值 ,看 看 程序 如 何 处 理 , 如 果 无 法 处 理 , 就 作为 缺陷 。 


3. 方法 


在 进行 压力 测试 时 ,首先 要 找到 影响 软件 系统 的 负载 因素 ,例如 ,输入 输出 的 数据 流 大 
小 、 外 部 中 断 的 个 数 与 频率 等 。 然 后 要 确定 各 个 因素 的 影响 范围 , 即 负 和 载 的 大 小 ,如 外 部 中 
断 这 个 负载 因素 直接 影响 到 软件 的 实时 响应 特性 。 其 次 设计 测试 用 例 使 其 对 系统 产生 极端 
影响 ,如 设计 一 组 负载 值 ,由 小 到 大 变化 ,直到 能 够 观察 到 系统 的 非 正常 状态 出 现 。 最 后 , 降 
低 负 载 强度 ,考察 系统 的 恢复 情况 , 即 沿 着 设计 的 负载 值 , 由 大 到 小 变化 ,观察 系统 是 否 可 以 
恢复 正常 的 运行 状态 。 

总 的 来 讲 , 压 力 测试 主要 考虑 下 列 3 个 方面 : 

(1) 长 时 间 测 试 对 软件 造成 的 影响 ,主要 检查 软件 在 数据 存储 ,数据 计算 精度 等 方面 的 
性 能 。 

(2) 大 数据 量 对 软件 的 影响 ,主要 检查 软件 中 数据 库 设 计 及 出 错 处 理 和 异常 设计 的 合 
理性 。 

(3) 高 频率 数据 对 软件 的 影响 ,主要 检查 带 中 断 处 理 的 软件 中 对 中 断 优先 级 的 设置 .中 
断 服 务 例 程 的 处 理 机 制 是 否 合理 有 效 。 


习题 4.1 
压力 测试 主要 检查 软件 哪些 方面 的 能 力 ? 


6.2 负载 测试 (Load Testing) 


1. 概念 


负载 测试 与 压力 测试 十 分 相似 ,通常 是 让 被 测试 系统 在 其 能 忍受 的 压力 极限 范围 内 或 
临界 状态 下 连续 运行 ,来 测试 系统 的 稳定 性 ,目的 是 找到 系统 的 处 理 极限 ,为 系统 调 优 提供 
依据 。 负 载 测试 与 压力 测试 的 区 别 在 于 负载 测试 侧重 于 压力 持续 的 时 间 ,而 压力 测试 则 更 
加 强调 施加 压力 的 大 小 。 

负载 测试 是 给 系统 一 个 特定 的 条 件 ,观察 系 统 的 反应 情况 的 一 个 过 程 。 具 体 说 来 ,负载 
测试 是 对 于 分 析出 来 的 系统 的 指标 ,在 不 同 的 负载 级 别 上 逐步 加 大 或 减 小 以 确定 系统 的 反 
应 结果 。 系 统 的 反应 结果 一 般 包 括 事务 处 理 成 功率 、 处 理 速 度 、 系 统 总 体 响应 时 间 、 用 户 
CPU 负载 .用户 内 存 使 用 等 等 。 一 般 来 说 ,由 于 其 测试 的 复杂 性 及 繁琐 性 ,负载 测试 是 借助 
工具 在 模拟 的 环境 中 实施 的 。 

对 于 压力 测试 的 定义 是 ,将 负载 测试 中 分 析 的 指标 赋予 一 个 系统 容纳 范围 之 外 的 数值 ， 
使 其 对 于 系统 来 说 成 为 一 种 压力 ,在 这 样 的 条 件 下 观察 系统 的 反应 以 及 各 个 参数 的 变化 。 
它 的 目的 是 测试 系统 所 能 承受 的 最 大 范围 以 及 系统 的 鲁 棒 性 ,有 时 也 会 观察 系统 在 经 受 高 
强度 压力 后 的 恢复 是 否 良好 。 压 力 测试 可 能 会 模拟 大 量 的 用 户 同 时 访问 站 点 ,或 者 模拟 某 
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些 用 户 频 繁 地 访问 站 点 等 方式 。 高 强度 的 测试 因 系 统 的 不 同 而 持续 的 时 间 有 差别 ,区 别 可 
能 在 数 十 秒 到 几 天 之 差 。 在 压力 测试 这 样 高 强度 ,极端 条 件 的 测试 下 ,人 们 可 能 发 现 系统 在 
设计 的 时 候 难以 发 现 或 者 未 经 考虑 的 情况 ,也 会 出 现 各 种 难以 预知 的 结果 ,因为 在 这 样 苛刻 
的 条 件 下 很 可 能 测试 到 一 些 平时 根本 不 会 测试 到 的 情形 。 对 于 各 种 莫名 其 妙 的 结果 ,需要 
精准 无 遗漏 的 记录 和 分 析 , 并 考虑 有 无 改进 的 必要 ,进而 加 以 改进 。 

一 般 来 说 ,负载 测试 是 优先 于 压力 测试 的 。 对 于 一 个 系统 来 说 往往 需要 先 满足 其 正常 
指标 范围 内 的 要 求 ,然后 再 去 考虑 极端 情况 。 而 且 , 压 力 测 试 所 需要 的 压力 区 间 需 要 由 负载 
测试 来 测定 或 明确 。 

性 能 测试 是 查看 系统 在 一 定 负载 下 的 运行 状态 ,并 由 此 分 析 其 瓶颈 。 其 关键 的 部 分 在 
于 为 系统 提供 可 控制 的 负载 。 对 于 这 样 的 负载 ,组 织 大 量 的 用 户 进行 真正 的 测试 是 不 现实 
的 。 因 为 即使 通过 B 测 试 这 样 的 方法 找到 了 大 量 的 用 户 ,也 没 法 要 求 这 些 用 户 按照 既定 方 
针 有 序 地 实行 。 并 且 , 一 旦 出 现 了 问题 ,就 需要 将 这 样 大 规模 的 复杂 的 测试 进行 更 多 的 次 
数 ,这 将 是 一 件 成 本 十 分 巨大 的 事 ,要 想 重 现 同样 的 情景 ,也 是 十 分 困难 的 。 因 此 ,提供 可 控 
制 的 负载 一 般 都 是 由 测试 人 员 模 拟 进行 的 。 现 今 的 公司 对 于 性 能 测试 的 重要 性 认识 在 逐渐 
提高 ,但 是 往往 理解 趋 于 偏颇 。 很 多 测试 员 会 把 “负载 ?这 个 概念 单纯 地 理解 为 一 个 变量 的 
变化 。 例 如 ,1000 个 用 户 同时 访问 、1 个 用 户 访问 1000 次 等 等 。 


2. 方法 


总 体 来 说 ,为 系统 提供 压力 一 般 通过 重复 .并 发 . 量 级 这 些 方法 。 还 有 一 种 非常 有 必要 
却 经 常 被 忽视 的 方法 ,就 是 随机 变化 。 

(1) 重复 。 重 复 是 性 能 测试 中 最 为 基本 的 手段 。 重 复 很 容易 理解 ,就 是 将 同样 的 行为 
反复 执行 。 性 能 测试 将 确定 在 多 次 重复 中 系统 能 否 工作 正常 ,每 次 请 求 能 否 得 到 合理 有 效 
的 满足 。 任 何 产品 都 不 会 由 客户 一 次 性 使 用 ,因此 重复 测试 是 非常 必要 的 。 如 果 用 户 在 对 
一 个 站 点 进行 若干 次 同样 内 容 的 访问 后 出 现 了 问题 ,势必 引起 用 户 的 疑问 和 不 满 。 但 是 , 结 
合 程序 的 性 质 来 说 ,仅仅 重复 是 不 可 能 单独 地 解决 问题 的 ,因此 这 一 操作 一 定 是 和 其 他 途径 
结合 起 来 。 

(2) 并 发 。 并 发 是 同时 执行 多 个 操作 的 行为 ,其 思路 类 似 于 动员 大 量 人 力 同 时 进行 某 
些 活动 。 执 行 的 多 个 操作 ,可 能 相同 ,也 可 能 不 同 , 将 因 测试 内 容 而 异 。 并 发 并 非 适用 于 所 
有 的 系统 ,但 是 绝 大 部 分 系统 ,特别 是 面向 广域网 的 系统 ,都 是 要 满足 并 行 执行 这 一 基本 条 
件 的 。 例 如 ,Web 性 能 测试 可 能 模拟 很 多 用 户 机 ,它们 同时 对 一 些 共享 数据 进行 访问 。 这 
时 候 系统 对 共享 数据 访问 处 理 就 显得 至 关 重要 了 。 现 实 中 的 系统 对 共享 数据 的 处 理 往往 趋 
于 复杂 ,必须 保证 在 复杂 的 操作 中 不 会 出 现 不 同步 、 死 锁 、 闲 置 时 间 过 长 等 问题 的 出 现 。 然 
而 ,并 发 的 问题 出 现 往往 是 由 某 个 线程 被 其 他 线程 中 断 带 来 的 ,而 这 种 情况 的 出 现 带 有 偶然 
性 (后 运行 的 进程 2 会 切断 先前 的 进程 1, 但 是 如 果 让 进程 2 先 运 行 ,进程 1 不 会 切断 它 , 这 
种 情况 经 常 存在 ) 。 因 此 ,并 发 往往 是 和 重复 结合 在 一 起 的 。 

(3) 量 级 。 对 于 用 户 的 每 一 次 请 求 ,除了 请 求 过 多 ,请求 过 于 频繁 可 能 给 系统 带 来 负担 
之 外 ,还 有 一 个 带 来 负担 的 情况 就 是 请 求 过 于 复杂 。 例 如 ,用 户 向 网 页 输入 一 条 字符 串 , 谁 
也 无 法 保证 用 户 会 输入 什么 样 的 字符 串 , 可 能 特别 长 ,可 能 带 有 无 法 预料 的 字符 等 等 。 或 者 
对 于 用 户 传送 来 的 一 个 数据 ,其 大 小 、 精 度 等 要 求 和 输入 的 速度 和 频 度 都 会 增加 操作 的 复杂 
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性 ,换言之 ,就 是 增加 了 操作 的 量 级 。 有 些 时 候 , 量 级 是 不 需要 考虑 的 ,比如 呈现 一 个 选择 列 
表 供 用 户 选择 ,那么 输入 结果 非 此 即 彼 。 但 是 用 户 所 输入 的 信息 不 可 能 全 部 做 成 选择 的 形 
式 : 最 简单 的 例子 ,用 户 输入 自己 的 将 要 创建 的 用 户 名 ,做 成 选择 的 形式 完全 不 现实 。 这 时 
候 , 就 需要 在 测试 的 时 候 , 加 大 测试 内 容 的 量 级 了 。 测 试 应 该 模拟 出 各 种 各 样 的 复杂 输入 ， 
结合 其 他 两 个 原则 ,发 现 潜在 的 问题 。 

(4) 随机 变化 。 为 了 使 这 种 庞大 而 费时 费力 的 测试 更 加 有 效率 ,每 个 测试 都 应 该 具有 
随机 性 质 。 在 每 次 测试 中 都 尽 可 能 地 探索 程序 的 更 多 路 径 。 随 着 现今 系统 的 复杂 度 越 来 越 
高 , 想 要 穷尽 地 测试 完 系 统 的 每 一 种 路 径 组 合 , 那 可 能 是 一 个 只 能 在 理论 上 实现 的 情形 。 比 
如 ,重复 的 时 候 , 控 制 时间 间 隔 或 者 操作 次 数 或 者 访问 顺序 的 变化 ; 使 用 并 发 的 时 候 ,更 改 
同时 访问 的 数目 或 所 访问 的 内 容 ; 使 用 量 级 的 时 候 , 更 改 每 次 发 送 的 数值 等 等 。 需 要 指出 
的 是 ,测试 如 果 处 于 完全 随机 的 状态 ,可 能 难以 回复 到 某 次 得 到 异常 结果 的 情形 。 如 果 对 于 
不 同 的 变量 使 用 同样 的 随机 种 子 ,这样 发 现 错误 的 概率 要 更 大 一 些 。 


3. 负载 测试 常见 的 性 能 指标 


负载 测试 所 针对 的 系统 往往 是 现实 中 需要 投入 市 场 的 系统 ,以 下 这 些 性 能 指标 往往 需 
要 重点 注意 ,包括 响应 时 间 、 并 发 量 、 吞 吐 量 、 用 户 放弃 率 、 用 户 行为 等 。 

(1) 响应 时 间 。 响 应 时 间 即 用 户 等 待 的 时 间 , 具 体 来 说 ,就 是 从 用 户 发 送 请 求 开 始 ,到 
接受 到 系统 反馈 信息 的 整个 等 待 过 程 。 这 个 时 间 往 往 是 和 并 发 访问 的 客户 数量 相关 的 ,用 
户 数目 多 的 时 候 , 往 往 相应 时 间 较 长 ,反之 则 较 短 。 在 早期 的 互联 网 开发 中 ,这 个 指标 的 重 
要 性 往往 不 如 其 他 的 重要 ,由 于 硬件 等 条 件 的 限制 ,那个 时 代用 户 以 得 到 准确 良好 的 数据 为 
前 提 , 对 于 较 慢 的 反应 速度 有 良好 的 容忍 率 。 然 而 , 随 着 互联 网 技术 的 飞速 发 展 以 及 不 断 完 
善 ,用 户 早已 不 再 满足 于 简单 地 得 到 数据 ,他 们 往往 更 希望 数据 得 到 的 又 快速 又 准确 。 进 一 
步 地 , 随 着 互联 网 功能 的 拓展 ,用 户 在 页 面 上 与 服务 器 的 互动 行为 将 更 加 频繁 。 这 些 现 象 都 
意味 着 响应 时 间 的 重要 性 逐渐 上 升 。 据 Zona Research 的 调查 ,超过 80% 的 用 户 在 出 现 多 
于 8 秒 的 延迟 的 情况 就 会 表示 不 满 ( 即 所 谓 的 “8 秒 钟 准则 ”) ,而 其 中 相当 大 的 人 群 会 选择 
更 换 网 站 ,这 样 的 问题 积累 多 了 会 变 得 十 分 严重 : 每 年 由 于 下 载 速度 令 人 难以 容忍 的 情况 
导致 的 损失 高 达 十 几 亿 美元 。 

(2) 并 发 量 。 并 发 量 即 同时 对 网 站 进行 并 发 访问 的 用 户 数量 。 而 对 于 并 发 量 指标 , 目 
前 学 术 界 并 未 达成 共识 ,这 是 因为 系统 之 间 往 往 区 别 很 大 ,其 配置 .复杂 程度 ,用户 数量 及 频 
率 都 随 着 不 同 要 求 的 变化 而 变化 ,所 以 并 发 量 应 结合 现实 的 开发 情况 和 环境 而 设计 ,而 不 是 
越 高 越 好 。 并 发 量 的 计算 方法 是 : 首先 估计 系统 的 用 户 数量 ,再 按照 它们 使 用 的 频率 估计 
并 发 比例 ,它们 的 乘积 就 是 并 发 量 。 并 发 量 要 想 更 加 精确 ,需要 对 该 系统 中 不 同 种 类 的 用 户 
进行 分 别 的 频率 计算 。 这 个 分 类 .计算 过 程 涉及 具体 专业 的 不 同 知识 和 各 自 的 经 验 公 式 ,本 
书 不 再 详 述 。 

(3) 吞吐 量 。 吞 吐 量 是 指 在 某 一 个 特定 的 时 间 单 位 内 Web 应 用 所 处 理 的 用 户 请 求 数 
目 。 一般 来 说 ,用 户 的 请 求 数 目 越 多 ,吞吐 量 就 会 越 大 。 并 发 处 理 的 用 户 数目 达到 最 大 值 的 
时 候 系 统 的 性 能 往往 是 人 们 所 需要 注意 的 ,因为 这 里 往往 是 系统 的 瓶 项 。 

(4) 用 户 放 弃 率 。 用 户 放 弃 率 是 一 个 结合 了 其 他 指标 的 综合 性 指标 , 它 指 的 是 测试 过 
程 中 用 户 将 因为 网 页 的 错误 、 响 应 缓慢 而 无 法 忍受 最 后 放弃 访问 网 页 的 情况 。 在 性 能 测试 
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的 时 候 , 这 个 比率 需要 考虑 进去 ,否则 ,可 能 会 出 现 设计 的 负载 量 脱离 实际 情况 的 时 候 。 事 
实 上 , 当 测 试 量 过 于 庞大 的 时 候 , 往 往 就 进入 了 压力 测试 的 范围 ,因此 ,这 个 比率 在 界定 系统 
指标 的 时 候 需要 考虑 。 

(5) 用 户 行为 。 用 户 的 行为 往往 不 会 像 简单 的 测试 所 进行 的 那样 ,例如 ,重复 地 发 送 同 
样 的 信息 。 相 反 , 用 户 的 行为 往往 是 非常 复杂 的 ,也 是 非常 难以 预料 的 。 例 如 ,对 网 页 的 熟 
悉 程度 往往 决定 了 用 户 的 行为 的 不 同 , 比 如 如 果 一 个 网 页 的 用 户 多 为 老 用 户 ( 如 专业 性 很 强 
的 论坛 ) ,那么 其 操作 可 能 普遍 比较 迅速 ,对 于 这 样 的 网 页 的 测试 ,应 该 和 那些 更 多 面向 新 用 
户 的 网 页 (如 新 闻 网 站 ) 有 所 区 别 。 网 页 的 内 容 也 可 能 成 为 决定 用 户 行为 的 因素 ,比方 说 ,网 
页 游戏 和 视频 网 站 的 操作 肯定 是 不 一 样 的 ,前 者 可 能 要 面 对 非常 多 的 鼠标 点 击 , 后 者 则 要 少 
得 多 。 再 如 ,以 用 户 输入 为 主 的 页 面 ( 如 博客 ), 和 以 提供 信息 为 主 的 页 面 (如 新 闻 ), 其 用 户 
行为 也 是 显著 不 同 的 。 在 设计 负载 的 过 程 中 ,用 户 行为 也 要 酌情 考虑 。Web 性 能 测试 的 指 
标 不 仅仅 局 限于 以 上 这 些 ,页 面 请 求 次 数 、 页 面 请 求 分 布 , 用 户 会 话 等 指标 都 可 能 在 不 同 的 
网 站 被 重点 关注 ,并 且 , 不 同 的 系统 所 需要 关注 的 也 经 常 很 不 一 样 , 比 如 ,聊天 网 站 对 响应 时 
间 关 注 很 高 ,而 下 载 网 站 则 更 加 关注 吞吐 量 。 因 此 ,在 整个 测试 过 程 中 ,性 能 指标 应 该 尽量 
考虑 全 面 ,这 个 涉及 测试 设计 人 员 的 个 人 经 验 。 


习题 4.2 


1. 负载 测试 主要 关注 软件 的 哪些 问题 ? 
2. 负载 测试 主要 采用 哪些 方法 ,关注 哪些 指标 ? 
3. 压力 测试 与 负载 测试 有 什么 区 别 ? 


人 3 容量 测试 (Volume Testing) 


容量 测试 ,也 称 大 数据 量 测试 ,一 般 有 两 种 情况 : 一 种 是 针对 某 些 系统 存储 、 传 输 、 统 计 
和 查询 等 业务 进行 大 数据 量 的 独立 数据 容量 测试 ; 另外 一 种 是 与 压力 测试 .负载 测试 .可 靠 
性 测试 等 相 结合 的 极限 状态 下 的 综合 数据 容量 测试 。 容 量 测试 的 关键 是 大 数据 量 的 测试 数 
据 的 准备 。 容 量 测试 的 目的 是 通过 测试 预先 分 析出 反映 软件 系统 特征 的 某 项 指标 极限 值 
(如 最 大 并 发 用 户 数 、 数 据 库 记 录 数 等 ) ,检查 系统 在 其 极限 状态 下 是 否 还 能 保持 重要 功能 的 
正常 运转 。 容 量 测试 还 将 确定 测试 对 象 在 给 定时 间 内 能 够 持续 处 理 的 最 大 负载 或 工作 量 。 
例如 ,如果 测 试 对 象 正在 为 生成 一 份 报表 而 处 理 一 组 数据 库 记录 ,那么 容量 测试 就 会 使 用 一 
个 具有 十 几 万 条 、 甚 至 几 百 万 条 记录 的 大 型 数据 库 , 检 验 该 软件 是 否 能 正常 运行 并 能 生成 正 
确 的 报表 。 

软件 容量 测试 可 以 帮助 软件 开发 商 和 用 户 了 解 软件 系统 的 承载 能 力 和 提供 服务 的 能 
力 , 如 某 个 电子 商务 网 站 所 能 承受 同时 进行 交易 的 联机 用 户 数 。 知 道 了 系统 容量 ,如 果 不 能 
满足 设计 要 求 ,就 要 寻求 新 的 解决 方案 。 


习题 4.3 
1. 容量 测试 主要 关注 软件 哪些 方面 的 特性 ? 
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2. 容量 测试 与 压力 测试 .负载 测试 ,可靠 性 测试 和 性 能 测试 等 具有 什么 样 的 关系 ? 
人 4 性 能 测试 (Performance Testing) 


1. 概念 


软件 系统 的 性 能 一 般 是 指 用 以 标识 .评估 软件 在 特定 环境 下 完成 任务 的 若干 指标 , 例 
如 ,执行 效率 ,资源 占用 、 稳 定性 .安全 性 、 可 扩展 性 和 可 靠 性 等 。 对 于 很 多 软件 系统 ,如 实时 
和 髋 入 式 系统 等 , 仅 满足 功能 要 求 是 不 行 的 ,还 应 满足 性 能 要 求 , 性 能 已 成 为 软件 质量 最 重 
要 的 衡量 标准 之 一 。 性 能 测试 就 是 对 软件 的 运行 性 能 指标 进行 测试 ,判断 系统 集成 之 后 在 
实际 的 使 用 环境 下 能 否 稳定 、 可 靠 地 运行 。 

性 能 测试 一 般 通 过 自动 化 的 测试 工具 模拟 多 种 正常 .峰值 以 及 异常 负载 条 件 来 对 系统 
的 各 项 性 能 指标 进行 测试 。 性 能 测试 主要 是 测试 软件 产品 在 实际 应 用 中 的 性 能 特征 ,不 同 
的 运行 环境 ,测试 结果 会 有 所 不 同 。 性 能 测试 包括 的 测试 内 容 丰 富 多 彩 , 可 以 将 性 能 测试 概 
括 为 3 个 方面 , 即 应 用 在 客户 端 性 能 的 测试 、 应 用 在 网 络 上 性 能 的 测试 和 应 用 在 服务 器 端 性 
能 的 测试 。 通 常情 况 下 ,3 个 方面 有 效 、 合 理 的 结合 ,可 以 达到 对 系统 性 能 全 面 的 分 析 和 瓶 
颈 的 预测 。 


2. 目标 


性 能 测试 的 目的 是 验证 软件 系统 是 否 能 够 达到 用 户 提 出 的 性 能 指标 ,同时 发 现 软件 系 
统 中 存在 的 性 能 瓶颈 ,优化 软件 ,最 后 起 到 优化 系统 的 目的 。 具 体 有 : 测试 中 得 到 的 负荷 
和 响应 时 间 数 据 可 以 被 用 于 验证 所 计划 的 模型 的 能 力 , 并 帮助 作出 决策 ; @ 识 别 体系 中 的 
弱点 。 受 控 的 负荷 可 以 被 增加 到 一 个 极端 的 水 平 ,并 突破 它 ,从 而 修复 体系 的 瓶颈 或 薄弱 的 
地 方 ; @ 系 统 调 优 。 重 复 运行 测试 ,验证 调整 系统 的 活动 得 到 了 预期 的 结果 ,从 而 改进 性 
能 ; @ 检 测 软 件 中 的 问题 。 长 时 间 的 测试 执行 可 导致 程序 发 生 由 于 内 存 泄露 引起 的 失败 ， 
揭示 程序 中 的 隐 含 的 问题 或 冲突 ; 回 验证 稳定 性 (resilience) 和 可 靠 性 (reliability)。 在 一 个 
生产 负荷 下 执行 测试 一 定 的 时 间 是 评估 系统 稳定 性 和 可 靠 性 是 否 满足 要 求 的 唯一 方法 。 性 
能 测试 类 型 包括 负载 测试 .压力 测试 .容量 测试 等 ,其 中 负载 测试 是 一 种 性 能 测试 ,是 指 程序 
在 超 负荷 环境 中 运行 ,测试 是 否 能 够 承担 ; 压力 测试 是 一 种 性 能 测试 , 它 在 系统 资源 特别 低 
的 各 种 情况 下 测试 软件 系统 运行 情况 ; 容量 测试 确定 系统 可 处 理 同时 在 线 的 最 大 用 户 数 。 


3. 原理 


软件 性 能 主要 包括 时 间 性 能 和 空间 性 能 。 时 间 性 能 主要 是 指 软 件 的 一 个 具体 事务 响应 
时 间 , 响 应 时 间 的 长 短 并 无 一 个 绝对 统一 的 标准 ,如 某 电子 商务 网 站 ,一 个 可 以 接受 的 响应 
时 间 标 准 可 以 是 2: 5:; 10, 即 2 秒 内 对 用 户 的 操作 予以 响应 是 非常 好 的 ,5 秒 内 对 用 户 操 作 
进行 响应 则 认为 可 以 接受 ,而 若 10 秒 内 还 无 法 响应 用 户 则 将 导致 用 户 抱怨 。 空 间 性 能 主要 
是 指 软件 运行 时 消耗 的 系统 资源 , 它 直 接 决定 了 系统 的 最 低 配 置 和 推荐 配置 ,系统 的 最 低 配 
团 和 推荐 配置 越 小 ,软件 运行 时 消耗 的 系统 资源 越 小 。 

为 了 收集 系统 的 时 间 和 空间 性 能 指标 ,一 般 将 被 测试 系统 运行 在 典型 环境 中 ,执行 测试 
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用 例 , 将 探 针 插入 代码 中 ,或 使 用 外 部 探 针 或 性 能 监视 器 进行 度量 。 性 能 测试 的 范围 很 广 ， 
可 分 为 常规 的 性 能 测试 、 压 力 测试 .负载 测试 、 可 靠 性 测试 和 大 数据 量 测试 等 。 所 谓 常规 性 
能 测试 是 指 软件 在 一 般 用 户 实际 使 用 的 普通 环境 , 即 正常 的 软 硬 件 环 境 下 运行 .模拟 生产 运 
行 的 业务 压力 ,不 向 其 施加 任何 其 他 压力 的 性 能 测试 。 其 他 类 型 的 性 能 测试 将 在 后 面 专门 
章节 介绍 。 


4. 方法 


性 能 测试 可 通过 手工 或 利用 自动 化 测试 工具 来 完成 。 手 工 测试 十 分 昂贵 和 复杂 , 且 效 
果 难 以 保证 ,因此 ,性 能 测试 一 般 需 要 有 自动 化 测试 工具 支持 ,如 LoadRunner 等 ,当然 , 自 
动 化 测试 工具 不 能 代替 手工 测试 ,只 能 辅助 完成 性 能 测试 。 

性 能 测试 是 对 软件 需求 规格 说 明 中 的 性 能 需求 逐 项 进行 的 测试 ,以 验证 其 性 能 是 否 满 
足 要 求 ,如 测试 在 获得 定量 结果 时 程序 计算 的 精确 性 (处 理 精度 ); 测试 其 时 间 特 性 和 实际 
完成 功能 的 时 间 ( 响 应 时 间 ); 测试 为 完成 功能 所 处 理 的 数据 量 ; 测试 程序 运行 所 占用 的 空 
间 ; 测试 负荷 潜力 ; 测试 配置 项 各 部 分 的 协调 性 ; 测试 软件 性 能 和 硬件 性 能 的 集成 ; 测试 
系统 对 并 发 事物 和 并 发 用 户 访问 的 处 理 能 力 。 

与 一 般 的 测试 过 程 一 样 ,性 能 测试 也 遵循 以 下 过 程 ( 如 图 4-1 所 示 ) 。 


性 能 测 测试 计 测试 用 性 能 测 性 能 测 性 能 测 
试 需求 上 | 划 制 定 一 | 例 设计 上 | 试 执行 上 | 试 结果 一 | 试 报告 
分 析 与 评审 与 评审 1 分 析 与 总 结 


图 4-1 性 能 测试 过 程 
5. 实例 


针对 电厂 两 票 管理 系统 的 性 能 测试 ,电厂 工作 人 员 可 以 使 用 该 管理 系统 开 出 工作 票 
和 操作 票 。 假 设 开设 100 个 账户 和 密码 可 供 100 个 工作 人 员 同 时 开 出 工作 票 或 操作 票 ， 
每 台 机 器 只 能 由 一 个 用 户 使 用 ,每 个 用 户 只 能 使 用 各 自 不 同 的 账号 登录 该 管理 系统 , 开 
票 结束 后 ,要 求 把 工作 票 或 操作 票 内 容 存档 , 若 在 规定 的 时 间 内 没有 存档 , 则 系统 强制 
存档 。 

由 于 一 般 测 试 部 门 是 不 可 能 有 100 台 机 器 同时 进行 的 ,因此 ,要 使 用 LoadRunner 模拟 
IP 地址 ,修改 脚本 来 协助 测试 。 但 是 ,为 了 保证 测试 结果 ,应 尽 可 能 使 用 所 有 可 用 的 机 器 进 
行 测试 ,毕竟 ,测试 工具 有 时 是 不 可 以 完全 信赖 的 。 


6. 优 缺 点 


性 能 测试 是 软件 测试 中 的 高 端 领 域 , 要 求 测试 人 员 不 仅 要 了 解 系统 的 内 部 工作 原理 ,而 
且 要 具备 很 强 的 技术 能 力 和 综合 分 析 问 题 的 能 力 。 


习题 4.4 
性 能 测试 通常 检查 软件 的 哪些 指标 ? 
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人 5 可 靠 性 测试 (Reliability Testing) 


可 靠 性 测试 是 在 给 被 测试 系统 加 载 一 定 业务 压力 的 情况 下 ,使 系统 运行 一 段 时 间 , 以 此 
来 测试 系统 是 否 稳定 。 例 如 ,可 以 采用 24 小 时 X7 天 的 方式 连续 运行 系统 ,一 般 采 用 平均 
错误 时 间 间 隔 来 衡量 被 测试 系统 的 可 靠 性 ,该 值 越 大 ,系统 越 稳定 。 


1. 概念 


软件 可 靠 性 是 软件 系统 在 规定 的 时 间 内 以 及 规定 的 环境 条 件 下 ,完成 规定 功能 的 能 力 。 
它 的 概率 度量 称 为 可 靠 度 。 软 件 可 靠 性 是 软件 系统 的 固有 特性 之 一 , 它 表 明了 一 个 软件 系 
统 按 照 用 户 的 要 求 和 设计 目标 ,执行 其 功能 的 可 靠 程 度 。 软 件 可 靠 性 与 软件 缺陷 有 关 , 也 与 
系统 的 输入 和 系统 的 使 用 有 关 。 理 论 上 ,可靠 的 软件 系统 应 该 是 正确 .完整 一致 和 健壮 的 。 
但 实际 上 任何 软件 都 不 可 能 达到 百分之百 的 正确 ,而 且 也 无 法 精确 地 度量 。 一 般 情况 下 ,只 
能 通过 对 软件 系统 进行 测试 来 度量 其 可 靠 性 。 

根据 以 上 软件 可 靠 性 的 概念 :“ 软 件 可 靠 性 是 软件 系统 在 规定 的 时 间 内 及 规定 的 环境 
条 件 下 ,完成 规定 功能 的 能 力 .” 软 件 可 靠 性 主要 包含 以 下 三 个 要 素 : 

(1) 规定 的 时 间 。 软 件 可 靠 性 只 是 体现 在 其 运行 阶段 ,因此 将 “运行 时 间 ” 作 为 “规定 的 
时 间 ” 度 量 。“ 运 行 时 间 ” 包 括 软件 系统 运行 后 工作 与 挂 起 (开启 但 空闲 ) 的 累计 时 间 。 由 于 
软件 运行 的 环境 与 程序 路 径 选取 的 随机 性 ,软件 的 失效 为 随机 事件 ,因此 运行 时 间 属 于 随机 
变量 。 

(2) 规定 的 环境 条 件 。 即 软件 的 运行 环境 ,包括 各 种 支持 要 素 , 如 支持 硬件 、 操 作 系统 、 
其 他 支持 软件 .输入 数据 格式 和 范围 以 及 操作 规程 等 。 不 同 的 环境 条 件 下 软件 的 可 靠 性 是 
不 同 的 ,有 了 明确 规定 的 环境 条 件 , 才 可 以 有 效 判断 软件 失效 的 责任 在 用 户 方 还 是 开发 方 。 

(3) 规定 的 功能 。 软 件 的 可 靠 性 还 与 规定 的 任务 和 功能 有 关 。 由 于 要 完成 的 任务 不 
同 , 软 件 的 运行 剖面 ( 即 软件 各 项 功能 使 用 情况 的 统计 信息 ) 会 有 区 别 ,调用 的 子 模块 不 同 ， 
其 可 靠 性 也 就 有 可 能 不 同 。 因 此 ,要 准确 度量 软件 系统 的 可 靠 性 必须 首先 明确 它 的 任务 和 
功能 。 


2. 原理 


软件 系统 规模 越 做 越 大 越 复杂 ,其 可 靠 性 越 来 越 难保 证 。 应 用 本 身 对 系统 运行 的 可 靠 
性 要 求 越 来 越 高 ,在 一 些 关键 的 应 用 领域 ,如 航空 .航天 等 ,其 可 靠 性 要 求 尤为 重要 ,在 银行 
等 服务 性 行业 ,其 软件 系统 的 可 靠 性 也 直接 关系 到 自身 的 声誉 和 生存 发 展 竞争 能 力 。 特 别 
是 软件 可 靠 性 比 硬件 可 靠 性 更 难保 证 ,会 严重 影响 整个 系统 的 可 靠 性 。 在 许多 项 目 开发 过 
程 中 ,对 可 靠 性 没有 提出 明确 的 要 求 ,开发 商 ( 部 门 ) 也 不 在 可 靠 性 方面 花 更 多 的 精力 ,往往 
只 注重 速度 、 结 果 的 正确 性 和 用 户 界面 的 友好 性 等 ,而 忽略 了 可 靠 性 。 在 投入 使 用 后 才 发 现 
大 量 可 靠 性 问题 ,增加 了 维护 困难 和 工作 量 ,严重 时 只 有 束之高阁 ,无 法 投入 实际 使 用 。 

(1) 软件 可 靠 性 与 硬件 可 靠 性 的 区 别 

软件 可 靠 性 与 硬件 可 靠 性 之 间 主 要 存在 以 下 区 别 : 

@ 最 明显 的 是 硬件 有 老化 损耗 现象 ,硬件 失效 是 物理 故障 ,是 器 件 物理 变化 的 必然 结 
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果 ; 软件 不 发 生变 化 ,没有 磨损 现象 有 陈旧 落后 的 问题 。 

@ 硬件 可 靠 性 的 决定 因素 是 时 间 , 受 设计 、 生 产 、 运 用 的 所 有 过 程 影响 ,软件 可 靠 性 的 
决定 因素 是 与 输入 数据 有 关 的 软件 差错 ,是 输入 数据 和 程序 内 部 状态 的 函数 ,更 多 地 决定 
于 人 。 

@ 硬件 的 纠 错 维护 可 通过 修复 或 更 换 失效 的 系统 重新 恢复 功能 ,软件 只 有 通过 重新 
设计 。 

@ 对 硬件 可 采用 预防 性 维护 技术 预防 故障 ,采用 断 开 失效 部 件 的 办 法 诊断 故障 ,而 软 
件 则 不 能 采用 这 些 技术 。 

@@ 事先 估计 可 靠 性 测试 和 可 靠 性 的 逐步 增长 等 技术 对 软件 和 硬件 有 不 同 的 意义 。 

为 提高 硬件 可 靠 性 可 采用 完 余 技术 ,而 同一 软件 的 宛 余 不 能 提高 可 靠 性 。 

@ 硬件 可 靠 性 检验 方法 已 建立 ,并 已 标准 化 且 有 一 整套 完整 的 理论 ,而 软件 可 靠 性 验 
证 方法 仍 未 建立 ,更 没有 完整 的 理论 体系 。 

@ 硬件 可 靠 性 已 有 成 熟 的 产品 市 场 ,而 软件 产品 市 场 还 很 新 。 

@ 软件 错误 是 永恒 的 ,一 般 都 是 可 重 现 的 ,而 一 些 瞬间 的 硬件 错误 可 能 会 被 误 认为 是 
软件 错误 。 

总 的 说 来 ,软件 可 靠 性 比 硬件 可 靠 性 更 难保 证 ,即使 是 美国 宇航 局 的 软件 系统 ,其 可 靠 
性 仍 比 硬件 可 靠 性 低 一 个 数量 级 。 

(2) 影响 软件 可 靠 性 的 因素 

软件 可 靠 性 是 关于 软件 能 够 满足 需求 功能 的 性 质 , 软 件 不 能 满足 需求 是 因为 软件 中 的 
错误 引起 了 软件 故障 。 软 件 中 有 哪些 可 能 的 错误 呢 ? 

软件 错误 是 软件 开发 各 阶段 潜入 的 人 为 错误 : 

Q@ 需求 分 析 定 义 错误 。 如 用 户 提出 的 需求 不 完整 ,用 户 需 求 的 变更 未 及 时 消化 、 软 件 
开发 者 和 用 户 对 需求 的 理解 不 同等 等 。 

@ 设计 错误 。 如 处 理 的 结构 和 算法 错误 ,缺乏 对 特殊 情况 和 错误 处 理 的 考虑 等 。 

@ 编码 错误 。 如 语法 错误 .变量 初始 化 错误 等 。 

@ 测试 错误 。 如 数据 准备 错误 测试 用 例 错 误 等 。 

回 文档 错误 。 如 文档 不 齐全 文档 相关 内 容 不 一 致 .文档 版 本 不 一 臻 .缺乏 完整 性 等 。 

从 中 到 加 ,错误 的 影响 是 发 散 的 ,因此 要 尽量 把 错误 消除 在 开发 前 期 阶段 。 

错误 引入 软件 的 方式 可 归纳 为 两 种 特性 : 程序 代码 特性 和 开发 过 程 特性 。 程 序 代码 一 
个 最 直观 的 特性 是 长 度 , 另 外 还 有 算法 和 语句 结构 等 ,程序 代码 越 长 ,结构 越 复杂 ,其 可 靠 性 
越 难保 证 。 开 发 过 程 特性 包括 采用 的 工程 技术 和 使 用 的 工具 ,也 包括 开发 者 个 人 的 业务 经 
历 水 平等 。 

除了 软件 可 靠 性 外 ,影响 可 靠 性 的 另 一 个 重要 因素 是 健壮 性 ,对 非法 输入 的 容错 能 力 。 
因此 提高 可 靠 性 从 原理 上 看 就 是 要 减少 错误 和 提高 健壮 性 。 


3. 方法 


测试 可 靠 性 是 指 运行 应 用 程序 ,以 便 在 部 署 系统 之 前 发 现 并 移 除 失败 。 因 为 通过 应 用 
程序 的 可 选 路 径 的 不 同 组 合 非常 多 ,所 以 在 一 个 复杂 应 用 程序 中 不 可 能 找到 所 有 的 潜在 缺 
陷 。 但 是 ,可 以 测试 在 正常 使 用 情况 下 最 有 可 能 的 方案 ,然后 验证 该 应 用 程序 是 否 提供 预期 
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的 服务 。 如 果 时 间 允 许 , 可 采用 更 复杂 的 测试 以 揭示 更 微小 的 缺陷 。 

(1) 对 构成 软件 的 各 个 组 件 进行 压力 测试 。 压 力 测试 是 指 模拟 巨大 的 工作 负荷 以 查看 
应 用 程序 在 峰值 使 用 情况 下 如 何 执行 操作 。 对 构成 软件 的 各 个 组 件 进行 压力 测试 ,可 隔离 
构成 组 件 和 服务 .推断 出 它们 公开 的 导航 方法 、 函 数 方法 和 接口 方法 以 及 创建 调用 这 些 方法 
的 测试 前 端 。 

在 隔离 的 情况 下 ,对 每 个 组 件 施 加 远 超 过 正常 应 用 程序 将 经 历 的 压力 。 例 如 ,以 尽 可 能 
快 的 速度 使 用 1 一 10 000 000 循环 ,查看 是 否 有 暴露 的 问题 。 单 独 测试 每 个 DLL(Dynamic 
Link Library ,动态 链 接 库 ) 可 帮助 确定 组 件 的 失败 总 次 数 。 

(2) 使 用 集中 压力 测试 。 对 每 个 单独 的 组 件 进行 压力 测试 后 ,应 对 带 有 其 所 有 组 件 和 
支持 服务 的 整个 应 用 程序 进行 压力 测试 。 集 中 压力 测试 主要 关注 与 其 他 服务 .进程 以 及 数 
据 结构 (来 自 内 部 组 件 和 其 他 外 部 应 用 程序 服务 ) 的 交互 。 

集中 测试 从 最 基础 的 功能 测试 开始 。 测 试 人 员 需 要 知道 编码 路 径 和 用 户 方案 、 了 解 用 
户 试图 做 什么 以 及 确定 用 户 运 用 该 应 用 程序 的 所 有 方式 。 

测试 脚本 应 根据 预期 的 用 法 运行 应 用 程序 。 例 如 ,如 果 应 用 程序 显示 Web 页 ,而 且 
99% 的 客户 只 是 搜索 该 站 点 、 只 有 1% 的 客户 将 真正 购买 ,这 使 得 提供 对 搜索 和 其 他 浏览 功 
能 进行 压力 测试 的 测试 脚本 才 有 意义 。 当 然 , 也 应 对 购物 车 进行 测试 ,但 是 预期 的 使 用 暗示 
搜索 测试 应 在 测试 中 占 很 大 比重 。 

在 日 程 和 预算 允许 的 范围 内 ,应 始终 尽 可 能 延长 测试 时 间 。 不 是 测试 几 天 或 一 周 , 而 是 
要 延续 测试 达 一 个 月 .一 个 季度 或 者 一 年 之 久 ,并 查看 应 用 程序 在 较 长 时 期 内 的 运行 情况 。 

(3) 使 用 真实 环境 测试 。 在 隔离 的 、 受 保护 的 测试 环境 中 可 靠 的 软件 ,在 真实 环境 的 部 
署 中 可 能 并 不 可 靠 。 虽 然 隔离 测试 在 早期 的 可 靠 性 测试 进程 中 是 有 用 的 ,但 真实 环境 的 测 
试 环境 才能 确保 并 行 应 用 程序 不 会 彼此 干扰 。 这 种 测试 经 常 发 现 与 其 他 应 用 程序 之 间 的 意 
外 的 导致 失败 的 交互 。 

需要 确保 应 用 程序 能 够 在 真实 环境 中 运行 , 即 能 够 在 具有 所 有 预期 客户 事件 配置 文件 
的 服务 器 空间 中 ,使 用 最 终 配 置 条 件 运 行 。 测 试 计划 应 包括 在 最 终 目 标 环境 中 或 在 尽 可 能 
接近 目标 环境 的 环境 中 运行 应 用 程序 。 这 一 点 通常 可 通过 部 分 复制 最 终 环境 或 小 心地 共享 
最 终 环境 来 完成 。 

(4) 使 用 随机 破坏 测试 。 测 试 可 靠 性 的 一 个 最 简单 的 方法 是 使 用 随机 输入 。 这 种 类 型 
的 测试 通过 提供 虚假 的 不 合 逻 辑 的 输入 ,努力 使 应 用 程序 发 生 故 障 或 挂 起 。 输 入 可 以 是 键 
盘 或 鼠标 事件 .程序 消息 流 、Web 页 .数据 缓存 或 任何 其 他 可 强制 进入 应 用 程序 的 输入 情 
况 。 应 该 使 用 随机 破坏 测试 来 测试 重要 的 错误 路 径 , 并 公开 软件 中 的 错误 。 这 种 测试 通过 
强制 失败 ,可 以 观察 返回 的 错误 处 理 , 以 便 改进 代码 质量 。 

随机 测试 故意 忽略 程序 行为 的 任何 规范 。 如 果 该 应 用 程序 中 断 , 则 未 通过 测试 ; 如 果 
该 应 用 程序 不 中 断 , 则 通过 测试 。 这 里 的 要 点 是 随机 测试 可 高 度 自动 化 ,因为 它 完全 不 关心 
基础 应 用 程序 应 该 如 何 工作 。 

可 能 需要 某 种 测试 装备 ,以 驱使 混乱 的 、 高 压力 的 、 不 合 逻 辑 的 测试 事件 进入 应 用 程序 
的 接口 中 。Microsoft 使 用 名 为 “注射 器 ”的 工具 ,可 以 将 错误 注射 到 任何 API(Application 
Program Interface, 应 用 程序 接口 ) 中 ,而 无 需 访问 源 代码 。“ 注 射 器 "可 用 于 模拟 资源 失败 、 
修改 调用 参数 .注射 损坏 的 数据 ,检查 参数 验证 界限 .插入 定时 延迟 以 及 执行 许多 其 他 功能 。 
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习题 4.5 


1. 可 靠 性 测试 通常 检查 软件 的 哪些 指标 ? 
2. 可 靠 性 测试 有 哪些 方法 ? 
3. 有 哪些 因素 影响 软件 可 靠 性 ? 


@.6 安全 性 测试 (Security Testing) 


由 于 社会 对 个 人 隐私 的 日 益 关 注 , 许 多 软件 都 有 特别 的 安全 性 目标 。 安 全 性 测试 是 设 
计 测 试用 例 来 突破 程序 安全 检查 的 过 程 ,例如 ,设计 测试 用 例 规避 内 存 保护 机 制 , 破坏 数据 
库 系 统 的 数据 安全 , 聊天 工具 、 电 子 商务 等 系统 的 安全 性 问题 。 

软件 的 安全 性 是 指 软件 能 够 使 得 伤害 或 损害 的 风险 限制 在 可 接受 的 水 平 内 ,安全 性 是 
软件 的 内 在 属性 , 随 着 软件 变 得 越 来 越 复杂 ,软件 的 安全 性 也 变 得 越 来 越 重要 ,例如 ,基于 
Web 的 应 用 程序 一 般 比 常用 的 软件 所 需要 的 安全 性 测试 级 别 要 高 ,对 于 金融 ,电信 这 类 特 
殊 行 业 的 软件 而 言 ,安全 性 也 是 最 重要 的 软件 系统 性 能 要 求 之 一 。 软 件 安全 性 做 得 不 好 ,将 
给 用 户 带 来 巨大 的 经 济 损失 。 

软件 安全 性 可 以 分 为 两 个 级 别 : 一 是 应 用 程序 级 别 , 包 括 对 数据 或 业务 功能 的 访问 ,应 
用 程序 级 别 的 安全 性 可 以 保证 在 预期 的 安全 条 件 下 ,用户 只 能 使 用 应 用 程序 的 特定 功能 ,或 
仅 能 访问 有 限 的 数据 ; 二 是 系统 级 别 , 包 括 对 系统 的 登录 或 远程 访问 ,系统 级 别 的 安全 性 可 
以 保证 只 有 具备 系统 访问 权限 的 用 户 才 能 访问 应 用 程序 。 


1. 概念 


安全 性 测试 用 于 检测 系统 对 非法 侵入 的 防范 能 力 , 系 统 的 安全 必须 能 够 经 受 来 自 多 个 
方面 的 攻击 。 在 安全 性 测试 过 程 中 ,测试 人 员 充 当 非 法 入 侵 者 的 角色 ,采用 各 种 方法 试图 突 
破 系 统 的 安全 防线 ,例如 ,尝试 通过 外 部 手段 截获 或 破译 口令 ; 使 用 甚至 专门 开发 能 够 瓦解 
防守 的 客户 软件 来 攻击 系统 ,试图 破坏 系统 的 保护 机 制 ; 故意 引发 系统 错误 ,导致 系统 失 
败 , 企 图 趁 系统 恢复 的 时 候 侵 和 系统。 理论 上 讲 , 只 要 有 足够 的 时 间 和 资源 ,任何 系统 都 可 
以 侵入 。 因 此 ,系统 安全 设计 的 基本 原则 是 将 系统 设计 为 要 攻破 系统 ,必须 付出 比 获得 的 利 
益 更 多 的 代价 ,使 得 非法 侵入 没有 意义 。 


2. 目标 


安全 性 (Security) 测 试 是 指 在 测试 软件 系统 中 危险 防止 和 危险 处 理 设施 进行 的 测试 ,以 
验证 其 是 否 有 效 。 全 面 检验 软件 在 软件 需求 规格 说 明 中 规定 的 防止 危险 状态 措施 的 有 效 性 
和 在 每 一 个 危险 状态 下 的 反应 ; 对 软件 设计 中 用 于 提高 安全 性 的 结构 算法、 容错 、 宛 余 、. 中 
断 处 理 等 方案 ,进行 针对 性 测试 ; 在 异常 条 件 下 测试 软件 ,以 表明 不 会 因 可 能 的 单个 或 多 个 
输入 错误 而 导致 不 安全 状态 。 用 错误 的 安全 性 关键 操作 进行 测试 ,以 验证 系统 对 这 些 操作 
错误 的 反应 ; 对 安全 性 关键 的 软件 单元 和 软件 部 件 ,要 单独 进行 加 强 的 测试 ,以 确认 其 满足 
安全 性 需求 。 
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软件 测试 的 概念 与 方法 


3. 原理 


在 管理 和 维护 数据 库 的 过 程 中 ,为 了 保障 数据 库 安全 ,我 们 从 以 下 几 方面 限制 数据 库 的 
访问 安全 : 

(1) 限制 能 访问 Oracle 数据 库 的 客户 端 ,指定 的 了 P 才 可 以 访问 ,防止 恶意 的 用 户 登录 。 

(2) 即使 有 访问 Oracle 数据 库 的 机 会 ,账户 的 密码 使 用 强 口令 和 其 他 登录 策略 ,恶意 
用 户 也 无 法 轻松 进入 。 

(3) 为 每 个 登录 账户 设置 了 合适 的 权限 ,执行 改变 数据 库 状 态 的 权限 需要 得 到 管理 员 
的 授权 ,确保 了 系统 合法 账户 对 数据 库 的 操作 安全 ,增强 重要 数据 的 抗 非法 访问 能 力 。 

网 络 服务 器 安全 测试 包括 检查 基础 服务 组 件 安装 情况 (根据 系统 情况 合理 的 安装 ,减少 
安装 不 必要 的 服务 控件 ); 查看 日 志 是 否 启 用 ,日 志 存 储 路 径 以 及 日 志 记 录 选 项 ; 检查 主 目 
录 路 径 和 目录 访问 权限 的 设置 (注意 : 四 目录 建议 不 要 和 系统 盘 符 设置 在 同一 路 径 下 ， 
加 目录 访问 权限 根据 所 在 项 目 系 统 的 实际 情况 来 设置 ,通常 只 启用 * 读 取 ” 权 限 ,记录 访问 和 
索引 资料 权限 跟 系统 的 安全 无 关 都 默认 启用 ,因为 所 用 的 Internet 用 户 访问 的 目录 就 是 IIS 
设 定 主 目录 ); 默认 文档 的 启用 ; 访问 控制 的 身份 验证 ; 连接 超时 功能 的 设置 (可 以 根据 项 
目的 安全 要 求 .参考 系统 需求 规格 说 明 书 来 进行 合理 的 设置 ); 安全 补丁 的 更 新 和 安装 
情况 。 

网 络 环 境 安 全 测试 主要 检测 的 是 系统 所 在 的 网 络 环境 安全 设置 ,此 测试 可 以 根据 待 测 
试 软件 本 身 的 情况 进行 ,或 者 可 以 忽略 ,主要 包括 以 下 方面 : 备份 和 升级 情况 ; 访问 控制 情 
况 ; 网 络 服 务 情况 ; 路 由 协议 情况 ; 日 志 审 核 情 况 ; 网 络 攻 击 防护 情况 ; 登录 标志 ; 安全 管 
理 等 。 


4. 方法 


安全 性 测试 的 方法 主要 包括 功能 验证 ,漏洞 扫描 和 模拟 攻击 等 几 种 方法 ,其 中 功能 验证 
是 采用 软件 测试 当中 的 黑 盒 测试 方法 ,对 涉及 安全 的 软件 功能 ,如 用 户 管理 模块 ,权限 管理 、 
加 密 系统 、 认 证 系统 等 进行 测试 ,主要 验证 上 述 功 能 是 否 有 效 。 

安全 漏洞 扫描 主要 是 借助 于 特定 的 漏洞 扫描 器 完成 的 。 通 过 使 用 漏洞 扫描 器 ,系统 管 
理 员 能 够 发 现 系统 存在 的 安全 漏洞 ,从 而 在 系统 安全 中 及 时 修补 漏洞 的 措施 。 一 般 漏 洞 扫 
描 分 为 两 种 类 型 : 主机 漏洞 扫描 器 是 指 在 系统 本 地 运行 检测 系统 漏洞 的 程序 。 网 络 漏洞 扫 
描 器 是 指 基于 网 络 远程 检测 目标 网 络 和 主机 系统 漏洞 的 程序 。 

对 于 安全 测试 来 说 ,模拟 攻击 测试 是 一 组 特殊 的 极端 的 测试 方法 , 即 通过 硬件 或 软件 的 
方式 模拟 出 软件 可 能 出 现 的 各 种 危险 情况 或 故障 情况 ,以 此 来 验证 软件 系统 的 安全 防护 能 
力 。 软 件 安全 性 测试 首先 要 考察 软件 安全 性 设计 的 全 面 性 , 即 软件 是 否 真 的 能 够 发 现 所 有 
已 知 的 各 种 危险 状态 并 进行 有 效 处 理 。 

具体 来 说 ,安全 性 测试 要 考虑 如 下 方面 的 内 容 : 

(1) 资源 。 即 软件 功能 和 数据 ,应 列 出 所 有 应 被 保护 的 功能 和 数据 ,确定 各 种 功能 及 数 
据 对 于 合法 用 户 和 潜在 的 侵入 者 具有 怎样 不 同 的 价值 ,分 析 有 哪些 非法 方法 可 以 利用 这 些 
功能 和 数据 。 
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(2) 风险 。 即 可 能 导致 损失 或 伤害 的 事件 ,安全 性 测试 中 应 列 出 所 有 可 能 的 风险 ,将 意 
外 风险 、 自 然 风险 与 人 为 风险 区 别 开 来 。 一 方面 应 分 析 所 有 风险 发 生 的 概率 , 男 一 方面 应 了 
解 风 险 变 成 现实 将 导致 的 严重 后 果 , 并 密切 关注 导致 最 严重 后 果 的 风险 。 

(3) 安全 性 控制 。 针 对 系统 中 可 能 存在 的 各 种 风险 的 保护 措施 ,其 中 重点 关注 人 为 风 
险 和 偶然 的 系统 误 操 作 ,检查 软件 是 否 具有 发 现 不 安全 因素 的 机 制 , 并 具有 合理 处 理 不 安全 
因素 的 能 力 。 例 如 ,系统 能 否 检测 到 无 效 参 数 或 指令 并 予以 适当 的 处 理 ; 系统 能 否 正 确保 
存 系统 配置 参数 ,在 系统 发 生 故 障 时 能 否 恢复 ,或 能 否 将 配置 数据 导出 ,并 在 其 他 机 器 上 进 
行 备份 ,或 系统 能 否 导入 配置 数据 ,并 正常 使 用 导入 的 数据 ; 系统 能 否 不 输入 密码 就 能 登 
录 , 或 对 多 次 无 效 密码 的 输入 ,系统 能 否 进行 适当 的 处 理 。 系 统 安全 性 测试 考虑 的 典型 问题 
有 : 执行 严格 的 安全 性 功能 是 否 比 系统 其 他 部 分 具有 更 高 的 有 效 性 ; 系统 在 防止 主要 错误 
或 自然 意外 方面 的 能 力 如 何 , 如 意外 掉 电 时 ,对 紧急 操作 的 支持 ,随后 的 备份 操作 以 及 恢复 
到 正常 操作 的 能 力 ; 安全 性 控制 的 精度 ,包括 错误 的 数量 .频率 和 严重 性 等 ; 系统 对 各 种 指 
令 和 操作 的 反应 时 间 ; 系统 对 用 户 和 服务 请 求 处 理 数量 的 峰值 和 均值 。 


5. 实例 


Web 服务 作为 一 种 分 布 式 计算 模型 ,以 服务 的 形式 封装 应 用 并 对 外 发 布 。 由 于 Web 
服务 往往 包含 了 企业 关键 业务 , 若 其 安全 性 出 现 问题 ,可 能 会 造成 重大 损失 与 严重 后 果 。 
Web 服务 的 安全 性 问题 成 为 制约 其 广泛 应 用 的 主要 障碍 。Web 服务 安全 性 测试 是 保证 
Web 服务 安全 性 的 重要 手段 。 

Web 服务 安全 性 测试 框架 用 来 指导 Web 服务 安全 性 测试 过 程 ,可 以 减少 测试 活动 的 
育 目 性 ,提高 测试 活动 的 规范 性 ,增强 测试 效能 。Web 服务 安全 性 测试 框架 包括 5 个 阶段 ， 
分 别 是 威胁 建 模 \ 测 试 需求 定义 、 测 试 策划 ,测试 执行 和 报告 。 各 阶段 产生 的 文档 主要 有 威 
胁 剖 面 (Profile, 一 般 理解 为 解剖 信息 ) 测试 需求 说 明 书 、 测 试 策 略 测试 计划 测试 结果 与 
测试 报告 。 威 胁 建 模 的 主要 步骤 是 确定 安全 目标 、 创 建 应 用 程序 总 体 体系 结构 ,分 解 应 用 程 
序 、 确 定 威胁 、 确 定 漏洞 .评定 威胁 与 漏洞 等 级 ,威胁 文档 化 。 测 试 需求 定义 是 根据 软件 的 安 
全 需求 说 明 与 威胁 剖面 文档 来 确定 安全 测试 的 对 象 、 内 容 及 测试 资源 的 分 配 。 测 试 策划 主 
要 确定 测试 策略 与 测试 计划 。 测 试 策略 文档 描述 应 用 程序 总 体 架 构 、 测 试 目 标 、 拟 采用 的 测 
试 方 法 .资源 需求 (Web Service Description Language,WSDL 文档 、 源 代码 等 ) .缺陷 跟踪 与 
变更 控制 策略 。 测 试 计划 描述 测试 环境 要 求 、 针 对 威胁 与 安全 需求 设计 的 测试 用 例 、 人 员 职 
责 分 配 、 进 度 安 排 \, 测 试 完成 标准 等 。 最 后 两 个 阶段 记录 测试 结果 并 创建 测试 报告 。 

界面 因素 是 安全 性 测试 技术 的 关键 环节 。 在 Web 测试 条 件 下 的 页 面 所 要 考虑 的 因素 
主要 有 容错 性 是 否 存在 和 正确 、 基 本 功能 是 否 能 得 以 实现 、 清 单 是 否 把 所 有 元 素 列 出 等 。 例 
如 对 于 动态 页 面 同样 要 进行 浏览 走 查 。 界 面 测试 遵循 的 原则 为 用 户 界面 洁净 程度 ,在 使 用 
过 程 中 不 为 用 户 制 造 障碍 ,布局 合理 ,无 多 余 功 能 ; 同一 任务 有 多 种 选择 ,具备 一 定 的 容错 
处 理 能 力 等 。 

功能 因素 是 安全 性 测试 技术 的 重点 环节 。 查 看 系统 中 是 否 有 链接 以 及 链接 的 位 置 ; 表 
单 验证 能 否 完 成 功能 , 需 验 证 服务 器 正确 保存 数据 时 ; 后 台 运 行 的 那些 程序 能 否 正 确 解释 
和 使 用 这 些 信息 ; 数据 正确 性 验证 是 否 达 到 易 用 性 目标 。 对 Cookies 验证 的 检测 ,在 
Cookies 中 保留 下 的 注册 信息 ,检测 需要 认真 核对 确认 Cookies 能 够 正常 工作 并 对 这 些 资 源 
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进行 加 密 。 而 功能 易 用 性 测试 在 完成 测试 后 ,可 以 更 好 地 了 解 软件 的 应 用 性 ,特别 是 听取 客 
户 的 反馈 意见 ,对 程序 进行 改良 。 这 里 ,一 是 使 用 白 盒 测试 技术 ,进入 代码 内 部 ,根据 开发 人 
员 对 代码 和 程序 的 熟悉 程度 ,对 有 需要 的 部 分 进行 测试 ; 二 是 使 用 黑 盒 测试 技术 ,这 是 根据 
软件 需求 .设计 文档 ,模拟 客户 场景 随 系统 进行 实际 的 测试 ,其 覆盖 的 全 部 功能 ,可 以 结合 
容 性 测试 和 性 能 测试 等 方面 。 

压力 因素 主要 是 考虑 测试 系统 在 基本 功能 通过 后 进行 对 内 容 的 测试 ,进行 压力 测试 是 
指 实际 破坏 一 个 Web 应 用 系统 ,测试 系统 的 反映 。 压 力 测 试 是 测试 系统 的 限制 和 故障 恢复 
能 力 , 也 就 是 测试 Web 应 用 系统 会 不 会 崩溃 ,在 什么 情况 下 会 崩溃 。 如 在 对 Web 服务 器 进 
行 压力 测试 时 ,可 以 帮忙 找到 死机 、 崩 损 、 内 存 泄露 等 大 型 问题 ,因为 那些 存在 内 存 泄漏 问题 
的 程序 ,通过 成 千 上 万 次 程序 的 运行 ,导致 内 存 泄 漏 的 越 多 ,从 而 更 进一步 导致 系统 崩溃 。 
另外 ,对 压力 测试 工具 的 延伸 使 用 可 以 进行 系统 稳定 性 测试 ,系统 极限 测试 。 

回归 因素 测试 就 是 在 经 过 一 段 时 间 后 ,再 对 以 前 修复 过 的 错误 重新 进行 测试 ,看 该 错误 
是 否 会 重新 出 现 的 测试 。 

安全 功能 测试 的 出 发 点 在 于 Web 服务 软件 的 功能 要 求 是 否 完全 实现 ,包括 登录 验证 、 
超时 限制 ,日 志文 件 , 目 录 、 数 据 加 密 等 ,需要 从 应 用 级 、 传 输 级 、 消 息 级 等 展开 一 个 完整 的 
Web 安全 体系 测试 。 

Web 服务 常常 含有 一 类 不 太 引 人 注意 的 脆弱 性 ,就 是 返回 的 错误 消息 往往 提供 过 于 详 
细 的 信息 ,而 这 有 助 于 攻击 者 发 现 应 用 程序 结构 等 敏感 信息 ,例如 ,后 端 数 据 库 的 类 型 .采用 
的 解析 器 等 。 因 此 ,执行 这 类 测试 就 是 强制 Web 服务 返回 错误 消息 ,观察 错误 消息 的 内 容 ， 
分 析 是 否 存在 不 恰当 的 错误 处 理 。 


习题 4.6 
结合 个 人 实践 ,收集 相关 资料 ,给 出 一 套 系统 的 Web 安全 性 测试 方案 。 


人 7 安装 测试 (Installation Testing) 


为 了 让 软件 具有 高 集成 度 ,软件 开发 人 员 会 将 软件 运行 所 需 的 文件 打包 制作 成 一 个 可 
执行 文件 ,通常 是 . exe 的 安装 程序 。 为 了 让 用 户 能 正确 安装 软件 的 相应 功能 和 组 件 , 进 而 
可 以 使 用 软件 的 功能 ,安装 程序 在 制作 的 过 程 中 以 及 发 布 前 都 需要 进行 测试 ,因此 对 于 需要 
安装 才能 使 用 的 软件 而 言 , 对 安装 程序 进行 安装 测试 是 必 不 可 少 的 。 

有 些 类 型 的 软件 系统 安装 过 程 非常 复杂 ,测试 安装 过 程 是 系统 测试 中 的 一 个 重要 部 分 。 
对 于 包含 在 软件 包 中 的 自动 安装 系统 而 言 , 这 一 点 尤其 重要 。 安 装 程序 如 果 出 现 故障 ,会 影 
响 用 户 对 软件 的 成 功 体验 ,用 户 会 丧失 对 该 软件 的 信心 。 


1. 概念 


安装 测试 是 确保 软件 在 正常 情况 和 异常 情况 下 能 成 功 安装 。 例 如 ,进行 首次 安装 、 升 
级 \ 完 整 的 或 自 定义 的 安装 都 能 进行 安装 。 异 常情 况 包 括 磁盘 空间 不 足 .缺少 目录 创建 权限 
等 。 核 实 软件 在 安装 后 可 立即 正常 运行 。 安 装 测试 包括 测试 安装 代码 以 及 安装 手册 。 安 装 
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手册 提供 如 何 进行 安装 ,安装 代码 提供 安装 一 些 程序 能 够 运行 的 基础 数据 。 
2. 目标 


安装 测试 的 目标 是 检查 安装 程序 是 否 能 够 正确 运行 ,软件 能 否 正确 安装 ,软件 安装 后 是 
否 可 以 正常 运行 以 及 完善 性 安装 后 程序 是 否 仍然 能 正常 运行 等 。 安 装 测试 需要 检查 软件 在 
安装 过 程 中 写 入 的 文件 是 否 正 确 , 是 否 漏 写 或 者 多 了 不 应 该 写 入 的 文件 ,同时 注册 表 信 息 也 
必须 检查 ,软件 需要 的 注册 表 数 据 是 否 均 正确 写 信 ,还 包括 快捷 方式 、 印 载 以 及 软件 安装 过 
程 中 易 用 性 的 测试 。 


3. 方法 


在 进行 安装 测试 之 前 ,测试 人 员 需 知道 该 软件 的 运行 环境 ,以 便 选择 合适 的 平台 测试 。 
此 外 ,测试 人 员 必 须知 道 软件 在 安装 过 程 中 写 入 的 文件 与 注册 表 信 息 ,否则 测试 人 员 无 法 断 
定 软 件 在 安装 过 程 中 是 否 少 写 或 者 多 写 或 者 错 写 。 安 装 测试 是 软件 测试 的 一 个 部 分 ,有 白 
盒 测 试 和 黑 盒 测 试 。 

1) 静态 白 盒 测 试 

静态 白 盒 测试 包括 对 软件 代码 等 过 程 性 描述 做 细致 检查 ,包括 代码 审查 、 走 查 、 获 盖 等 
不 执行 软件 的 白 盒 测试 。 在 安装 测试 中 一 般 使 用 静态 白 盒 测试 ,不 执行 安装 程序 ,安装 测试 
的 静态 白 盒 测 试 是 走 查 安装 程序 的 制作 过 程 , 细 致 检查 每 一 个 步骤 中 是 否 出 错 、 在 添加 文件 
的 时 候 是 否 多 添加 了 或 者 少 添 加 了 注册 表 数 据 添加 是 否 齐全 等 。 

静态 白 盒 测 试 的 目标 是 关注 安装 程序 的 整个 制作 过 程 ,包括 文件 的 添加 、 细 化 、 快 捷 方 
式 的 创建 以 及 注册 表 数 据 的 设置 。 以 此 为 基础 发 现 安装 程序 在 制作 过 程 中 的 错误 ,在 黑 盒 
测试 之 前 先 做 静态 白 盒 测试 可 以 提高 安装 程序 的 质量 。 

2) 动态 白 盒 测 试 

安装 测试 的 动态 白 盒 测试 即 是 运行 安装 程序 ,核对 程序 安装 过 程 是 否 合乎 安装 程序 制 
作 人 员 的 设计 。 核 对 程序 运行 所 需要 的 文件 是 否 全 部 写 和 人 正确 ,检查 注册 表 数 据 是 否 正确 
写 人 ,快捷 方式 是 否 创 建 等 。 磁 盘 文 件 的 写 人 可 以 手动 找到 文件 写 和 人 路径 ,检查 磁盘 文件 的 
写 和 ,运行 Regedit 手动 核对 注册 表 数 据 的 写 和 人 。 但 手动 核对 显然 很 麻烦 ,通常 使 用 软件 安 
装 监视 工具 核对 软件 安装 过 程 中 文件 的 写 和 ,Total Uninstall( 目 前 最 新 版 本 为 6. 0. 0 下 载 
地 址 : http://www. onlinedown. net/soft/21605. htm) 就 是 一 款 软 件 安装 过 程 监视 工具 。 
该 软件 能 帮助 人 们 监视 软件 安装 的 所 有 过 程 , 记 录 下 它 对 系统 所 做 的 任何 改变 ,比如 添加 的 
文件 .对 注册 表 和 系统 文件 的 修改 ,并 制作 成 安装 前 和 安装 后 的 快照 。 印 载 软件 时 ,不 需要 
使 用 印 载 程序 ,直接 通过 Total Uninstall 便 可 将 其 完全 地 清除 出 系统 ,不 留 下 任何 痕迹 。 
从 而 保证 了 系统 的 清洁 。 该 软件 运行 截图 如 图 4-2 所 示 。 

图 4-2 的 左边 为 计算 机 中 已 经 安装 的 程序 信息 ,右边 为 某 个 需要 查看 的 具体 软件 安装 
后 在 系统 中 写 入 的 文件 信息 ,包括 文件 系统 、 注 册 表 ,安装 的 服务 和 设备 信息 。 测 试 人 员 可 
以 根据 右 侧 的 详细 信息 很 方便 地 知道 该 安装 程序 在 安装 过 程 中 写 入 的 信息 。 

3) 安装 程序 的 功能 测试 ( 黑 盒 测试 ) 

安装 程序 的 功能 测试 是 测试 被 制作 的 安装 程序 的 功能 , 指 的 是 这 个 安装 程序 运行 后 是 
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模块 强 作 布 与 评 贡 信息 
洪 程 序 了 图 CAJViewer [全 部 详细 信息 ] 
名 称 ^ 安装 时 间 大 小 检测 到 的 修改 安装 前 
| Adobe Flash Player .. 2011/12/612:07 ”1727MB “ 4 国 计算 机 
4 呈 文 件 系统 
图 Adobe Reader X (10.. 2011/12/514:40 = 11440… | 三 ee 
S > 
不 avast! Free Antivirus 。 2011/12/514:38 182.30.. >» BB Program Files 
权 六 ProgramData 
Bl Browser Data Servic.。 2012/2/23 23:09 ， 攻 users 
本 CAJViewer 2012/3/2112:03 65.97 MB 县 Windows 
4 > D: 
名 Dotfuscator Softwar-。 2011/12/516:05 6.45 MB » 站 Program Files 
4 基 注册 家 


网 Editplus 3 2011/12/23 0:19 3.08 MB 
旧 HKEY LOCAL MACHINE 


| InstallShield 12 2012/4/9 22:56 30140 .. 有 HKEY_USERS 

= 已 安装 的 服务 和 设备 
@ Javap8 10413 2011/12/15 15:04 。 27.98 MB 2 > 
Sy 6@ CAJ Service Host 
备 | Java(TM) 6 Update 31 2012/2/1914:40 95.13 MB 


Java(TM) SE Develo.. 2011/12/15 15:01 145.00 … 


Ll 


图 4-2 Total Uninstall 运行 截图 


否 将 该 软件 需要 的 文件 与 组 件 正确 安装 ,与 软件 本 身 的 功能 无 关 。 

(1) 基本 功能 测试 。 对 一 个 安装 程序 进行 安装 测试 的 时 候 , 需 要 测试 如 下 9 个 方面 的 
功能 , 即 程 序 信息 ,安装 需求 .安装 结构 ,程序 文件 程序 快捷 方式 ,程序 注册 安装 对 话 交 互 、 
安装 本 地 化 、 安 装 编译 。 

Q@ 程序 信息 。 安 装 程序 应 指定 程序 名 、 公 司 名 。 程 序 的 名 字 应 该 为 有 意义 的 单词 或 
者 首 字 母 ,能 让 人 一 下 子 看 明白 其 中 的 意思 。 如 果 名 字 是 一 串 乱 七 八 糟 的 英文 字母 ,将 
不 便于 安装 人 员 识 别 。 当 然 ,也 有 很 多 的 流氓 软件 的 名 字 就 是 一 串 乱 七 八 糟 的 字母 , 它 
们 是 故意 这 样 做 而 起 到 迷惑 人 的 目的 ,让 人 一 不 小 心 的 点 一 下 而 不 给 任何 提示 的 就 给 装 
世上 去 < 

@ 安装 需求 。 如 果 该 软件 在 某 个 操作 系统 下 不 能 被 使 用 , 则 在 该 操作 系统 下 不 应 被 安 
装 ,此 时 安装 程序 应 该 有 相应 的 提示 并 能 正确 地 退出 安装 。 

如 果 该 程序 在 运行 时 需要 目标 系统 上 一 些 特别 的 软件 环境 , 则 应 该 在 安装 软件 时 提示 
用 户 是 否 需 要 进行 相应 的 环境 安装 。 

如 果 安 装 路 径 所 在 磁盘 空间 不 足 , 则 程序 应 给 以 相应 提示 并 请 用 户 处 理 。 

@ 安装 结构 。 但 凡 功 能 较 多 的 软件 在 安装 的 时 候 都 应 该 有 安装 体系 结构 供用 户 选择 ， 
用 户 可 以 选择 完全 安装 组 件 或 者 自 定 义 安装 其 中 的 某 一 些 组 件 ,因为 有 的 功能 可 能 用 户 并 
不 需要 ,安装 了 反而 浪费 磁盘 空间 以 及 带 来 更 多 的 系统 垃圾 。 比 如 Office, 我 们 常用 的 也 就 
是 Word、Excel、PPT, 而 另外 的 那 一 大 串 , 对 于 多 数 人 来 说 都 是 不 会 用 到 的 。 

@ 程序 文件 。 文 件 写 人 是 安装 测试 中 最 重要 的 内 容 之 一 。 测 试 人 员 可 以 手动 地 找到 
程序 安装 时 写 人 文件 的 位 置 , 逐 一 对 比 该 软件 在 运行 中 所 需要 的 文件 ,核实 是 否 有 缺漏 或 者 
多 余 的 文件 。 如 果 写 入 的 文件 数量 较 多 ,人 工 一 个 一 个 地 核对 效率 低下 , 则 可 以 通过 编写 代 

码 , 让 计算 机 核对 。 
特别 需要 注意 的 是 ,如 果 该 软件 的 某 个 部 分 有 依赖 关系 ,添加 了 某 些 功能 部 件 ,而 这 些 
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功能 部 件 在 电脑 中 的 存在 位 置 并 不 在 安装 程序 时 选择 的 路 径 之 下 ,而 在 安装 程序 制作 时 该 
部 件 原本 的 路 径 之 下 ,此 时 需要 额外 的 核对 。 

加 程序 快捷 方式 。 一 个 好 的 软件 ,应 该 有 快捷 方式 方便 用 户 使 用 的 ,包括 在 开始 菜单 
和 桌面 创建 快捷 方式 ,甚至 有 的 软件 是 需要 在 快速 启动 栏 创建 快捷 方式 的 ,比如 浏览 器 。 有 
的 软件 中 . exe 程序 不 止 一 个 ,这 种 情况 下 测试 人 员 在 测试 安装 程序 的 时 候 一 定 要 留意 快捷 
方式 是 否 选 择 了 正确 的 . exe 程序 ,如 果 软 件 的 快捷 方式 选择 到 了 错误 的 . exe 上面 ,那么 这 
个 程序 在 安装 后 对 于 大 多 数 的 人 来 说 都 是 无 法 使 用 进而 导致 放弃 对 该 软件 的 使 用 。 在 进行 
黑 盒 测试 的 时 候 , 测 试 人 员 必 须 通 过 点 击 快捷 方式 运行 程序 一 遍 , 以 确保 快捷 方式 的 正 
确 性 。 

开始 菜单 快捷 方式 的 目录 有 两 个 : C:\Users\USER NAME\AppData\ Roaming\ 
Microsoft\Windows\Start Menu 和 C:\ProgramData\ Microsoft\ Windows\Start Menu, 其 
中 后 者 是 共享 的 ,如 果 快 捷 方 式 是 放 在 该 文件 夹 中 , 则 表示 所 有 登录 计算 机 的 用 户 都 可 以 使 
用 ,而 前 者 仅 由 创建 者 控制 , 别 的 用 户 不 可 访问 。 

而 对 于 桌面 快捷 方式 ,如 果 是 在 C:\Users\Public\Desktop 下 , 则 是 共用 ,所 有 用 户 均 
可 以 访问 ; 而 如 果 是 在 C:\ Users\User Name\Desktop 下 , 则 是 私有 ,只 有 该 用 户 才 能 
访问 。 

@ 程序 注册 。 像 文件 一 样 ,注册 表 的 写 人 也 是 程序 安装 过 程 中 最 重要 的 部 分 之 一 。 程 
序 安 装 时 是 一 定 会 在 系统 注册 表 中 写 人 数据 的 ,即便 这 个 安装 程序 在 制作 的 时 候 并 未 添加 
注册 表 数 据 ,也 会 在 安装 的 时 候 写 人 注册 表 数 据 ,这 些 系统 自动 写 和 人 的 注册 表 数 据 测试 人 员 
不 需要 核对 ,测试 人 员 只 需要 核对 软件 在 制作 安装 程序 的 过 程 中 设计 的 注册 表 数 据 是 否 
正确 。 

@ 安装 对 话 交 互 。 软 件 安装 时 候 的 交互 对 话 框 是 一 个 很 重要 的 部 分 ,因为 它 决定 了 软 
件 安装 程序 的 易 用 性 。 关 于 许可 协议 这 一 条 来 说 ,就 相当 于 一 份 合同 , 用 户 同 意 就 用 ,不 同 
意 则 不 能 安装 。 如 果 该 软件 在 使 用 过 程 中 用 户 和 软件 开发 公司 需要 遵守 必要 的 一 些 规则 ， 
那么 这 个 当然 不 能 少 。 

而 对 于 用 户 是 否 能 选择 安装 路 径 这 一 点 ,除了 特别 底层 的 软件 外 ,比如 驱动 ,用 户 都 应 
该 能 自己 选择 安装 位 置 。 用 户 的 系统 盘 空 间 是 有 限 的 ,不 能 什么 东西 都 往 系统 盘 里 面 放 。 
而 且 东 西 放 多 了 会 产生 垃圾 导致 系统 变 慢 。 还 有 就 是 重 装 系统 后 通常 会 把 系统 盘 先 格式 化 
掉 , 那 么 与 该 软件 相关 联 的 数据 也 可 能 丢失 。 比 如 ,如 果 QQ 装 在 系统 盘 , 那 么 QQ 聊天 记 
录 就 会 默认 在 系统 盘 , 一 旦 重 装 而 没 备份 的 话 聊天 记录 就 全 没有 了 ,万 一 里 面 有 条 重要 信息 
怎么 办 。 

@@ 安装 本 地 化 。 安 装 程 序 语言 的 选择 上 .如果 是 销 往 海外 ,那么 英文 是 必须 的 。 但 是 
在 中 国 ,还 是 得 有 中 文 的 为 好 ,和 弄 个 英语 的 不 能 体现 多 么 高 端 ,但 是 会 影响 安装 程序 的 易 用 
性 。 不 是 所 有 的 人 英语 都 好 ,相当 多 的 网 民 是 初中 毕业 ,实用 才 是 最 好 的 。 可 以 有 个 英文 的 
选择 ,但 是 中 文 是 一 定 要 有 的 。 

安装 编译 。 安 装 程序 的 编译 是 根据 公司 的 发 布 需求 而 选择 的 ,无 论 安装 程序 被 编译 
成 什么 格式 ,测试 人 员 都 需要 至 少 完整 的 安装 一 遍 , 以 保证 该 安装 程序 能 正确 安装 。 

(2) 附加 功能 测试 。 软 件 所 需 服务 和 设备 的 测试 ,对 于 大 多 数 文件 ,安装 程序 只 需要 从 
源 安装 介质 拷贝 文件 到 目标 系统 ,然后 在 目标 系统 中 注册 这 些 文件 。 一 些 特 别 的 文件 种 类 ， 
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需要 额外 的 服务 和 设备 。 比 如 ,CAJviewer 需要 安装 CAJ Service Host, 而 中 国 移动 手机 支 
付 安 全 控件 需要 安装 一 个 叫做 PassGuard 的 程序 。 如 果 待 测试 的 软件 是 需要 安装 额外 的 服 
务 和 设备 的 ,测试 人 员 可 以 使 用 Total Uninstall 查看 。 

(3) 不 同 操作 系统 下 的 尝试 。 软 件 在 本 身 支持 的 操作 系统 下 是 应 该 正确 安装 ,安装 后 
能 正确 运行 的 ,那么 在 不 支持 的 操作 系统 环境 下 能 否 正确 安装 呢 ? 事实 上 ,部 分 Windows 
XP 下 的 软件 ,在 Win 7 中 安装 的 时 候 会 报 兼 容 性 问题 ,并 且 安装 不 成 功 ,但 这 不 表示 就 不 
能 安装 。 

以 VC 6.0 为 例 , 在 Win 7 中 打开 VC 6.0 的 安装 程序 的 时 候 ,系统 是 会 报 兼容 性 问题 
的 ,此 时 可 以 把 这 个 忽略 ,然后 直接 强制 性 地 装 上 去 ,但 是 这 装 上 去 也 并 不 能 用 。 

(4) 不 同安 装 顺序 的 尝试 。 大 部 分 的 软件 , 谁 先 被 安装 谁 后 被 安装 是 没有 区 别 的 ,但 也 
有 例外 。VS 2008 和 Office 2007 便 是 一 个 例外 。 先 安装 了 Office 2007 ,再 安装 VS 2008 , 没 
有 问题 。 但 如 果 反 过 来 安装 , 先 安装 VS 2008, 再 安装 Office 2007, 则 在 安装 Office 2007 时 
会 报错 ,系统 说 无 法 找到 “Office. zh-cn\officeLR. cab” 文 件 。 出 现 这 种 情况 的 原因 是 安装 了 
VS 2008, 并 安装 了 SP 更 新 ,因为 其 中 含有 Office 2007 的 更 新 组 件 ,所 以 再 用 一 些 之 前 的 
Office 安装 文件 就 无 法 安装 成 功 。 解 决 的 方法 当然 是 印 载 掉 其 中 包含 的 Office 2007 的 
组 件 。 


习题 4.7 


1. 安装 几 种 常用 软件 ,观察 可 能 出 现 的 问题 。 
2. 安装 测试 主要 检查 哪些 问题 ? 


6s 可 用 性 测试 (Usability Testing) 


可 用 性 测试 检查 待 测试 软件 的 人 机 界面 ,通常 要 检查 的 部 件 包括 界面 布局 与 色彩 、 输 入 
输出 格式 \ 程 序 流 程 和 拼写 等 ,以 发 现 其 中 的 人 为 因素 和 易 用 性 等 问题 。 

在 做 可 用 性 测试 时 ,可 以 让 一 群 有 代表 性 的 用 户 尝 试 对 产品 进行 典型 操作 ,同时 观察 员 
和 开发 人 员 在 一 旁观 察 聆听、 做 记录 。 该 产品 可 能 是 一 个 网 站 ,一 个 软件 ,或 者 其 他 任何 产 
品 , 它 可 能 尚未 成 型 。 测 试 可 以 是 早期 的 纸 上 原 型 测试 ,也 可 以 是 后 期 成 品 的 测试 。 

可 用 性 最 早 来 源 于 人 因 工 程 (Human Factors)。 人 因 工 程 又 称 工效 学 (Ergonomics) , 
起 源 于 二 战 时 期 ,设计 人 员 研 发 新 式 武器 时 研究 如 何 使 用 机 器 、 人 的 能 力 限度 和 特性 ,从 而 
诞生 了 工效 学 ,这 是 一 门 涉 及 多 个 领域 的 学 科 , 包 括 心理 学 、 人 体 测 量 学 环境 医学 、 工 程 学 、 
统计 学 .工业 设计 、 计 算 机 等 。 

在 可 用 性 测试 中 需要 考虑 的 问题 如 下 : 

(1) 每 个 用 户 界 面 是 否 都 根据 用 户 的 智力 教育 背景 和 环境 要 求 而 进行 了 调整 。 

(2) 程序 的 输出 是 否 有 意义 ,不 模糊 且 没 有 杂乱 信息 。 

(3) 错误 诊断 信息 是 否 直接 ,易于 理解 。 

(4) 整体 用 户 界面 是 否 在 语法 ,惯例 .语义 、 格 式 和 风格 等 方面 具有 完整 性 和 一 致 性 。 

(5) 在 准确 性 极为 重要 的 环境 下 ,如 银行 系统 ,输入 中 是 否 有 足够 的 元 余 信息 ,程序 是 
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否 易于 使 用 等 。 
习题 4.8 
评价 几 个 常用 软件 或 网 站 的 可 用 性 。 


人.s 稳定 性 测试 (Stability Testing) 


在 软件 测试 中 ,稳定 性 测试 方法 主要 尝试 检测 软件 在 其 使 用 过 程 中 性 能 是 否 稳定 ,以 及 
是 否 会 崩溃 ,这 种 方法 类 似 于 制药 领域 ,检测 一 个 药品 在 其 寿命 期 内 能 否 很 好 地 保持 其 品 
质 。 下 面 以 服务 器 稳定 性 测试 为 例 。 

服务 器 稳定 性 是 最 重要 的 ,如 果 在 稳定 性 方面 不 能 够 保证 业务 运行 的 需要 ,再 高 的 性 能 
也 是 无 用 的 。 

正规 的 服务 器 厂商 都 会 对 产品 进行 不 同 温度 和 湿度 下 的 运行 稳定 性 测试 。 重 点 要 考虑 
的 是 宛 余 功能 ,如 数据 元 余 、 网 卡 宛 余 .电源 宛 余 .风扇 宛 余 等 。 

一 些 测试 方法 主要 分 以 下 几 种 ; 

(1) 压力 测试 。 已 知 系统 高 峰 期 使 用 人 数 ,验证 各 事务 在 最 大 并 发 数 (通过 高 峰 期 人 数 
换算 ) 下 事务 响应 时 间 是 否 能 够 达到 客户 要 求 ; 系统 各 性 能 指标 在 这 种 压力 下 是 否 还 在 正 
常数 值 之 内 ; 系统 是 否 会 因 这 样 的 压力 导致 不 良 反应 (如 宕 机 、 应 用 异常 中 止 等 ) 。 

@ 压力 测试 增 量 设 计 。 如 并 发 用 户 为 75 人 ,系统 注册 用 户 为 1500 人 ,以 5%~~7% 作 
为 并 发 用 户 参考 值 。 一 般 以 每 15 秒 加 载 5 人 的 方式 进行 增 压 设计 ,该 数值 主要 参考 测试 加 
压 机 性 能 ,建议 运行 几 次 。 以 事务 通过 率 与 错误 率 衡 量 实 际 加 载 方式 。 

@ 压力 测试 增 量 设计 目标 。 寻 找 以 增 量 方式 加 压 系 统 性 能 瓶颈 位 置 , 抓 住 出 现 的 性 能 
拐点 时 机 ,一般 常用 参考 点 击 率 与 吞吐 量 `.CPU、 内 存 使 用 情况 综合 判断 。 模 拟 高 峰 期 使 用 
人 数 ,如 早晨 的 登录 .下 班 后 的 退出 ` 工 资 发 送 时 的 消息 系统 等 。 

(2) 稳定 性 测试 。 已 知 系统 高 峰 期 使 用 人 数 、 各 事务 操作 频率 等 ,设计 综合 测试 场 
景 ,测试 时 将 每 个 场景 按照 一 定 人 数 比率 一 起 运行 ,模拟 用 户 使 用 数 年 的 情况 。 并 监控 
在 测试 中 ,系统 各 性 能 指标 在 这 种 压力 下 是 否 能 保持 正常 数值 ; 事务 响应 时 间 是 否 会 出 
现 波动 或 随 测试 时 间 增 长 而 增加 ; 系统 是 否 会 在 测试 期 间 内 发 生 如 宕 机 、 应 用 中 止 等 异 
常情 况 。 

根据 上 述 测试 中 ,各 事务 条 件 下 出 现 性 能 拐点 的 位 置 , 以 确定 稳定 性 测试 并 发 用 户 人 
数 。 仍 然 根据 实际 测试 服务 器 (加 压 机 、 应 用 服务 器 、 数 据 服务 器 三 方 性 能 ) ,估算 最 终 并 发 
用 户 人 数 。 

(3) 容错 性 测试 。 通 过 模拟 一 些 非 正常 情况 (如 服务 器 突然 断 电 、 网 络 时 断 时 续 、 服 务 
器 硬盘 空间 不 足 等 ) ,验证 系统 在 发 生 这 些 情况 时 是 否 能 够 有 自动 处 理 机 制 以 保障 系统 的 正 
常 运行 或 恢复 运行 措施 。 如 有 HA( 自 动容 灾 系 统 ), 还 可 以 专门 针对 这 些 自动 保护 系统 进 
行 男 外 的 测试 。 验 证 其 能 否 有 效 触发 保护 措施 。 

(4) 测评 测试 是 用 于 获取 系统 的 关键 性 能 指标 点 而 进行 的 相关 测试 。 主 要 是 针对 预先 
没有 明确 的 预期 测试 结果 ,而 是 要 通过 测试 获取 在 特定 压力 场景 下 的 性 能 指标 (如 事务 响应 
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时 间 、 最 大 并 发 用 户 数 等 ) 。 

@ 评测 事务 交易 时 间 。 为 获取 某 事务 在 特定 压力 下 的 响应 时 间 而 进行 的 测试 活动 。 
通过 模拟 已 知客 户 高 峰 期 的 各 压力 值 或 预期 所 能 承受 的 压力 值 , 获 取 事务 在 这 种 压力 下 的 
响应 时 间 。 

@ 评测 事务 最 大 并 发 用 户 数 。 为 获取 某 事务 在 特定 系统 环境 下 所 能 承受 的 最 大 并 发 
用 户 数 而 进行 的 测试 活动 。 通 过 模拟 真实 环境 或 直接 采用 真实 环境 ,评测 在 这 种 环境 下 事 
务 所 能 承受 的 最 大 并 发 用 户 数 。 判 定 标准 阔 值 需 预先 定义 (如 响应 时 间 `CPU 占用 率 、 内 存 
占用 率 \ 已 出 现 点 击 率 峰值 已 出 现 知 吐 量 峰 值 等 ) 。 

@ 评测 系统 最 大 并 发 用 户 数 。 为 获取 整个 系统 所 能 够 承受 的 最 大 并 发 用 户 数 而 进行 
的 测试 活动 。 通 过 预先 分 析 项 目 各 主要 模块 的 使 用 比率 和 频率 ,定义 各 事务 在 综合 场景 中 
所 占 的 比率 ,以 比率 方式 分 配 各 事务 并 发 用 户 数 。 模 拟 真 实 环境 或 直接 采用 真实 环境 ,评测 
在 这 种 环境 下 系统 所 能 承受 的 最 大 并 发 用 户 数 。 

@ 评测 不 同 数据 库 数 据 量 对 性 能 的 影响 。 针 对 不 同 数据 库 数 据 量 的 测试 ,将 测试 结果 
进行 对 比 ,分析 发 现 数据 库 中 各 表 的 数据 量 对 事务 性 能 的 影响 。 得 以 预先 判断 系统 长 时 间 
运行 后 ,或 某 些 模块 客户 要 求 数据 量 较 大 时 可 能 存在 的 隐患 。 


习题 4.9 
稳定 性 测试 需要 综合 考虑 很 多 因素 , 它 与 可 靠 性 测试 有 什么 差别 ? 


人 io 本 地 化 和 国际 化 测试 (Localization and 


Internationalization Testing) 


很 多 软件 不 只 是 服务 某 一 个 国家 或 者 只 针对 某 一 种 语言 发 布 的 ,而 是 面向 全 世界 的 。 
例如 ,微软 公司 的 Windows XP 就 支持 100 多 种 语言 和 方言 ,从 南非 语 到 匈牙利 语 到 祖 鲁 语 
等 。 其 他 的 软件 公司 也 在 做 同样 的 事情 ,因为 它们 都 意识 到 英语 的 市 场 还 不 到 潜在 用 户 市 
场 的 一 半 , 所 以 必须 为 全 球 范围 内 的 用 户 设计 和 测试 软件 产品 。 

读者 可 能 读 过 一 些 翻 译 的 不 是 很 好 的 关于 电器 或 者 关于 玩具 的 说 明 书 ,一 看 就 知道 这 
个 公司 没有 在 翻译 上 认真 下 工夫 ,人 们 可 能 会 因此 对 公司 的 能 力 和 实力 产生 怀疑 。 良 好 的 
翻译 可 以 让 本 来 就 很 好 的 产品 增色 不 少 , 然 而 ,这 是 一 件 不 容易 的 事情 。 例 如 同样 是 英语 ， 
有 美式 英语 、 加 拿 大 英语 和 澳大利亚 英语 ,它们 对 同样 一 件 事情 或 物品 往往 有 不 同 表达 。 因 
此 ,在 软件 设计 中 除了 语言 本 身 ,还 要 考虑 用 户 所 在 的 国家 、 地 理 位 置 和 文化 等 因素 ,这 个 过 
程 称 为 软件 的 本 地 化 ,有 时 也 称 软件 的 国际 化 ,测试 软件 这 方面 的 特性 的 过 程 称 为 软件 的 本 
地 化 和 国际 化 测试 。 

如 果 要 测试 一 个 软件 的 本 地 化 工作 ,测试 小 组 最 好 能 懂 这 个 地 方 的 语言 ,当然 ,不 懂 也 
没有 关系 ,可 以 委托 当地 的 测试 公司 做 这 件 事情 。 世 界 各 地 有 很 多 这 样 的 软件 本 地 化 测试 
公司 可 以 专门 做 这 件 事 情 。 
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当 某 些 文本 翻译 成 男 外 一 种 文字 的 时 候 ,文本 的 长 度 会 发 生变 化 ,相应 的 窗口 、 文 本 框 
或 按钮 的 尺寸 就 要 做 适当 调整 ,否则 会 影响 美观 ,特别 是 文本 长 度 变 长 的 情况 下 ,超出 的 部 
分 可 能 就 无 法 显示 。 有 些 时 候 这 些 文本 在 系统 内 部 的 表示 也 不 一 样 ,程序 员 在 编写 软件 时 
必须 考虑 这 些 文字 的 内 部 表示 ,为 它们 留 出 适当 的 空间 。 

(1) 英文 中 一 些 热 键 和 简写 ,在 其 他 语言 中 要 做 相应 的 修改 。 例 如 ,英文 中 查找 的 快捷 
键 是 Alt 十 S, 当然, 在 法 语 中 就 要 做 相应 修改 。 

(2) 扩展 字符 问题 。 所 谓 扩展 字符 是 指 键盘 上 没有 的 字符 ,测试 这 些 字符 的 剪 切 、 拷 贝 
和 粘贴 等 在 程序 中 的 使 用 。 

(3) 要 注意 字符 计算 和 排序 问题 ; 不 同文 化 有 从 左 向 右 阅 读 和 从 右 向 左 阅读 的 阅读 顺 
序 问 题 ; 在 代码 中 要 排除 不 同 语言 的 文本 显示 问题 ; 修改 一 些 图 片 中 出 现 的 文字 ; 软件 内 
容 要 与 当地 文化 相符 合 ; 日 期 格式 也 要 符合 当地 习惯 。 

(4) Windows 提供 了 键盘 类 型 和 支持 语言 种 类 选项 ,可 以 根据 本 地 化 测试 需求 选择 相 
应 的 语言 和 键盘 进行 测试 ,同时 要 注意 不 同 语言 平台 中 的 文件 之 间 的 兼容 性 转换 或 共享 
问题 。 


习题 4.10 
本 地 化 和 国际 化 测试 主要 关注 哪些 方面 的 问题 ? 


Gil 可 访问 性 测试 (Accessibility Testing) 


应 用 程序 可 访问 性 是 指 为 残障 人 士 扫除 使 用 障碍 。 在 使 用 电脑 时 ,有 些 用 户 也 许 无 法 
看 见 或 无 法 移动 鼠标 ,或 者 会 面临 很 多 其 他 困难 。 美 国 公司 在 产品 的 可 访问 性 方面 有 着 悠 
久 的 历史 ; 让 应 用 程序 能 够 被 最 广泛 的 客户 群 使 用 具有 良好 的 商业 意义 。 因 此 , 像 IBM 等 
著名 公司 都 承诺 将 支持 世界 级 规范 和 标准 的 技术 带 给 残障 人 士 。 

可 访问 性 测试 一 般 都 是 在 外 包 测 试 中 ,特别 是 对 美 外 包 测试 中 可 能 碰 到 的 一 种 测试 类 
型 ,主要 检测 软件 系统 对 于 残疾 人 是 否 具有 可 访问 性 。 如 果 软 件 系 统 是 为 美国 政府 机 构 设 
计 的 ,就 必须 满足 可 访问 性 指南 的 规范 和 要 求 ,否则 将 违反 美国 的 联邦 法 律 ,Section 508 
Web 指南 就 是 这 样 一 套 规范 ,详细 描述 了 16 项 具体 的 要 求 , 目 前 已 经 有 一 些 专门 的 测试 工 
具 来 检查 软件 系统 的 可 访问 性 ,例如 ,Watchfire WebXACT QTP 等 。 

在 可 访问 性 测试 规范 中 使 用 可 访问 性 检查 列表 ,该 列表 主要 包含 以 下 几 条 关键 原则 ， 

(1) 输入 方式 可 选择 。 键 盘 . 鼠 标语 音 , 以 及 用 于 残障 人 士 的 设备 。 

(2) 输出 方式 可 选择 。 显 示 声音 .打印 ,以 及 将 图 像 提示 转换 成 声音 的 用 户 界 面 元 素 。 

(3) 一 致 性 和 灵活 性 。 与 颜色 .字体 等 用 户 设置 保持 一 致 。 


习题 4.11 


1. 为 什么 要 进行 可 访问 性 测试 ? 
2. 可 访问 性 测试 主要 检查 哪些 方面 的 内 容 ? 
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人 iz 授权 测试 (Authorization Testing) 


授权 是 指 获得 允许 去 访问 那些 只 有 获得 允许 才能 被 使 用 的 资源 ,授权 测试 是 一 种 测试 
授权 过 程 健壮 性 的 方法 ,该 方法 通过 理解 授权 工作 原理 和 过 程 ,利用 这 些 信息 来 试图 规避 授 
权 机 制 。 

在 成 功 地 通过 认证 后 ,测试 人 员 获 得 某 些 系统 资源 的 使 用 授权 ,测试 人 员 将 在 获得 该 
有 效 凭证 之 后 ,验证 与 定义 的 角色 和 权限 设置 相关 的 内 容 。 在 这 个 测试 过 程 中 ,测试 人 
员 设 法 寻找 方法 去 穿越 授权 模式 ,或 者 通过 遍历 寻找 漏洞 ,或 者 寻找 方法 升级 所 赋予 的 
优先 权利 。 


习题 4.12 
授权 测试 主要 检测 什么 ? 


人 is 容错 性 测试 (Fault Tolerance Testing) 


容错 性 测试 是 检查 软件 在 异常 条 件 下 自身 是 否 具 有 防护 性 的 措施 或 某 种 灾难 性 恢复 的 
手段 。 当 系统 出 错时 ,能 否 在 指定 时 间 间 隔 内 修正 错误 并 重新 启动 系统 。 容 错 性 测试 包括 
以 下 两 个 方面 : 

(1) 输入 异常 数据 或 进行 异常 操作 ,以 检验 系统 的 保护 性 。 如 果 系 统 容错 性 好 ,系统 能 
给 出 提示 或 内 部 消化 掉 ,而 不 会 导致 系统 出 错 甚至 崩溃 。 

(2) 灾难 恢复 性 测试 。 通 过 各 种 手段 ,让 软件 强制 地 发 生 故 障 ,然后 验证 系统 已 保存 的 
用 户 数 据 是 否 丢失 ,系统 和 数据 是 否 能 尽快 恢复 。 

对 于 自动 恢复 需 验证 重新 初始 化 ,检查 点 .数据 恢复 和 重新 启动 等 机 制 的 正确 性 ; 对 于 
人 工 干预 的 恢复 系统 ,还 需要 估 测 平均 修复 时 间 ,确定 其 是 否 在 可 接受 的 范围 内 。 容 错 性 好 
的 软件 能 确保 系统 不 发 生 无 法 意料 的 事故 。 从 容错 性 测试 的 概念 可 以 看 出 , 当 软 件 出 现 故 
障 时 如 何 进 行 故障 的 转移 和 恢复 有 用 的 数据 是 十 分 重要 的 。 

故障 转移 是 确保 测试 对 象 在 出 现 故障 时 能 成 功 完成 故障 的 转移 ,并 能 从 导致 意外 数据 
损失 或 数据 完整 性 破坏 的 各 种 硬件 .软件 和 网 络 故障 中 恢复 。 数 据 恢复 可 确保 对 于 必须 持 
续 运行 的 系统 ,一 旦 发 生 故 障 ,备用 系统 将 不 失 时 机 地 顶替 发 生 故 障 的 系统 ,以 避免 丢失 任 
何 数据 或 事务 。 容 错 性 测试 是 一 种 对 抗 性 的 测试 过 程 ,在 这 种 测试 过 程 中 ,将 待 测试 软件 或 
系统 置 于 异常 条 件 下 ,以 产生 故障 ,例如 ,输入 输出 故障 或 无 效 数据 库 指针 和 关键 字 等 ,然后 
调用 恢复 进程 并 监测 和 检查 应 用 程序 和 系统 ,核实 系统 和 数据 已 得 到 了 正确 的 恢复 。 

为 了 确保 恢复 进程 可 以 将 数据 库 、 应 用 程序 和 系统 正确 地 恢复 到 预期 的 已 知 状态 ,容错 
性 测试 一 般 包括 以 下 各 种 情况 : 

(1) 客户 机 断 电 、 服 务 器 断 电 。 

(2) 通过 网 络 服务 器 产生 通信 中 断 或 控制 器 中 断 。 

(3) 数据 库 指针 或 关键 字 无 效 ,数据 库 中 的 数据 元 素 无 效 或 遭 到 破坏 。 
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容错 性 测试 还 要 使 用 为 功能 和 业务 周期 测试 创建 如 下 测试 场景 : 往 软盘 保存 时 ,不 插 
人 软盘 ,或 将 软盘 加 写 保护 ; 不 接 打 印 机 ,但 进行 打印 操作 ; 客户 机 断 电 或 服务 器 断 电 ; 网 
络 通信 中 断 , 如 可 以 断 开 通信 线路 的 连接 ,关闭 网 络 服务 器 或 路 由 器 的 电源 ; 控制 器 被 中 
断 、 断 电 或 以 控制 器 的 通信 中 断 ,模拟 与 一 个 或 多 个 控制 器 及 设备 的 通信 ,或 实际 取消 这 种 
通信 。 一旦 实现 了 上 述 场景 ,然后 采用 相应 的 下 一 步骤 ,检查 系统 的 恢复 功能 。 


习题 4.13 
容错 性 测试 一 般 考 虑 哪些 方面 的 问题 ? 


@.14 一 致 性 测试 (Conformance Testing) 


一 致 性 测试 或 类 型 测试 是 测试 一 个 产品 在 效率 或 互通 性 方面 是 否 符合 某 个 指定 的 标 
准 。 为 此 ,很 多 标准 化 组 织 或 第 三 方 机 构建 立 很 多 测试 过 程 和 测试 装置 ,专门 测试 与 某 些 标 
准 的 一 致 性 。 

为 了 更 好 保证 一 致 性 ,一 致 性 测试 通常 由 外 部 组 织 执行 ,而 且 这些 组 织 往往 是 标准 制定 
组 织 。 通 过 这 种 方式 测试 之 后 ,软件 产品 可 以 广 而 告 之 获得 符合 某 个 标准 认证 的 。 服 务 供 
应 商 、 设 备 制造 商 和 供应 商 通过 一 致 性 过 程 , 并 依赖 于 这 些 数 据 来 保证 服务 质量 。 


习题 4.14 
为 什么 要 进行 一 致 性 测试 ? 


@.15 配置 测试 (Configuration Testing) 


1. 概念 


软件 与 硬件 之 间 的 交互 测试 称 为 配置 测试 ,主要 检测 各 种 硬件 环境 是 否 能 够 支持 软件 
的 正常 运行 。 配置 测 试 是 软件 测试 的 一 个 必 不 可 少 的 重要 环节 , 它 是 一 个 使 用 各 种 硬件 来 测 
试 软件 操作 的 过 程 。 这 类 测试 是 要 检查 计算 机 系统 内 各 个 设备 或 各 种 资源 之 间 的 相互 连接 和 
功能 分 配 中 的 错误 。 由 于 组 成 计算 机 的 各 种 内 部 组 件 ,以 及 各 种 外 部 设备 可 能 来 自 很 多 不 同 
的 生产 厂家 ,要 保证 软件 能 够 适用 于 尽量 多 样 化 的 硬件 组 合 , 就 必须 对 软件 进行 配置 测试 。 

配置 测试 的 工作 量 一 般 情 况 下 非常 巨大 。 例 如 ,目前 市 场 上 大 致 有 300 多 种 显卡 、 
200 多 种 声卡 、1500 多 种 调制 解 调 器 .1200 多 种 打印 机 ,完全 测试 的 组 合 数目 至 少 是 
300X200X1500X1200, 总 计 有 上 亿 种 组 合 。 规 模 之 大 难以 想象 。 如 果 决 定 进行 完整 全 面 
的 配置 测试 ,检查 所 有 可 能 的 制造 者 和 型 号 组 合 ,就 会 面临 巨大 的 工作 量 。 如 果 限 于 排除 法 测 
试 ,每 一 种 配置 单独 测试 一 种 板 卡 只 用 30 分 钟 ,也 要 1 年 的 时 间 。 这 只 是 配置 测试 中 的 一 个 
步骤 ,其 他 工作 还 有 : 在 软件 发 布 之 前 要 修复 软件 缺陷 ,修复 之 后 还 要 进行 回归 测试 等 。 因 此 
非常 需要 找 出 一 种 科学 有 效 的 方法 把 巨大 无 比 的 配置 可 能 性 减少 到 尽 可 能 小 的 范围 。 

一 般 情况 下 ,配置 测试 首先 是 确定 要 测试 哪些 硬件 设备 ,根据 待 测 软件 的 具体 情况 来 确 
定 所 需 的 硬件 类 型 ; 其 次 ,确定 使 待 测 软件 正常 工作 的 各 类 硬件 设备 中 ,哪些 硬件 商标 、 型 
号 和 驱动 程序 可 用 ,哪些 硬件 设备 正在 流行 或 者 曾经 流行 ,市 场 上 有 哪些 主流 的 硬件 配置 ， 
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将 那些 相互 翻版 .大同小异 硬件 设备 划分 为 同一 个 等 价 区 ; 最 后 将 明确 后 的 硬件 配置 缩减 
为 可 控制 范围 。 


2. 方法 


假设 对 某 个 待 测 软件 (SUT) 进行 配置 测试 时 ,经 过 分 析 和 处 理 , 最 后 确定 需要 测试 mm 
类 硬件 设备 ,每 类 设备 分 别 有 ww ,az ,…',aw 种 硬件 (通过 商标 、 型 号 和 驱动 程序 等 来 划分 
的 ) ,这 里 不 妨 设 a 宇 as 宇 … 宇 a,。 配 置 测 试 的 任务 是 检查 各 种 硬件 设备 在 计算 机 系统 内 
的 相互 连接 和 功能 分 配对 待 测 软 件 的 影响 ,检查 待 测 软件 能 否 在 这 些 硬件 的 组 合 上 正常 工 
作 。 当 xz 一 aa XasX…Xa。 比较 小 的 时 候 , 可 以 做 全 面试 验 。 而 一 般 情况 下 ,这 个 值 非常 
大 ,做 全 面试 验 是 不 可 能 的 。 因 此 ,需要 设计 一 种 试验 次 数 较 少 ,效果 又 能 与 全 面试 验 相近 
的 试验 设计 方法 。 以 下 将 人 们 在 工程 和 科学 试验 中 常用 的 试验 设计 方法 应 用 于 配置 测试 的 
测试 用 例 设 计 。 

为 了 便于 说 明 问题 ,考虑 对 待 测 软 件 在 比较 少 的 主流 配置 上 进行 配置 测试 。 这 里 只 考虑 
显卡 、 声 卡 、 调 制 解 调 器 、 打 印 机 和 主板 5 种 设备 ,并 假设 每 种 设备 有 2 个 主流 品牌 的 硬件 可 供 
选择 (实际 进行 的 配置 测试 要 远 远 比 这 复杂 ) , 即 w 二 as 二 a 二 a 二 as 二 2, 如 表 4-1 所 示 。 

(1) 多 次 单 因素 试验 法 

如 果 要 把 表 4-1 中 的 所 有 情况 都 测试 到 ,那么 将 需要 2 二 32 个 测试 用 例 来 遍历 所 有 的 
测试 情况 。 如 果 我 们 认为 32 次 测试 的 工作 量 太 大 ,那么 可 以 采用 多 次 单 因素 试验 方法 。 所 
谓 多 次 单 因素 试验 方法 ,就 是 每 次 只 变化 一 个 因素 的 值 ,其 他 因素 固定 为 相应 的 典型 值 。 在 
本 例 中 ,首先 对 每 种 设备 指定 一 个 典型 的 主流 硬件 (如 在 显卡 中 ,我 们 把 A, 作为 最 典型 的 
主流 硬件 )。 当 一 种 硬件 设备 穷 举 它 的 各 种 情况 时 ,其 他 设备 都 以 它 典型 的 主流 硬件 来 代表 
(在 表 4-1 中 ,Ai ,BC Di 、E 都 为 相应 硬件 设备 典型 的 主流 硬件 )。 那 么 我 们 将 得 到 如 
表 4-2 所 示 的 测试 用 例 集 。 


表 4-1 配置 测试 所 需 的 硬件 类 型 表 


显卡 声卡 调制 解 调 器 打印 机 主板 
A Bl C D， E 
A: B; C: D; E: 


表 4-2 利用 多 次 单 因素 试验 法 产生 的 测试 用 例 集 


| 
已 
-| 
32 个 测试 用 例 被 减少 到 6 个 
已 
-| 
ABC D E 
| 


-EE 


注 : 其 中 -号 表示 相应 位 置 的 值 与 上 面 一 行 相同 。 


第 4 章 软件 特性 及 方面 的 测试 


通过 这 样 的 方法 得 到 了 6 个 测试 用 例 来 代替 完全 遍历 时 所 需要 的 32 个 测试 用 例 。 
从 32 个 测试 用 例 减 少 到 6 个 测试 用 例 , 测 试用 例 数 下 降 了 5 倍 。 此 时 再 来 观察 表 4-2 中 
6 个 测试 用 例 的 质量 。 这 组 测试 用 例 覆 盖 了 各 个 参数 的 所 有 取 值 ; 从 组 合 数 的 角度 出 
发 ,例子 中 的 被 测试 系统 有 5 个 参数 ,每 个 参数 有 2 个 可 能 值 , 那 么 每 两 个 参数 间 的 不 同 
组 合 数 为 CGX2? 二 40 种 ,而 表 4-2 中 的 测试 用 例 只 覆盖 了 30 种 情况 。 使 用 这 种 方法 在 
这 个 特定 例子 里 ,我 们 通过 大 约 1/5 的 测试 用 例 完 成 了 3/4 的 所 有 两 两 组 合 材 盖 。 这 种 
方法 实现 简单 ,能 够 对 主流 配置 进行 充分 的 测试 。 但 缺点 是 参数 间 的 两 两 组 合 无 法 完全 
覆盖 。 

根据 多 次 单 因素 试验 方法 的 特点 ,一 般 情 况 下 ,对 一 个 待 测 系 统 进 行 多 次 单 因 素 测试 


时 ,需要 的 测试 用 例 的 数目 是 = i 1, 因此 当 待 测 系统 的 因素 比较 多 ,每 个 因素 


的 取 值 个 数 也 比较 多 的 时 候 , 这 种 方法 就 很 不 实用 。 

(2) 两 两 组 合 覆 盖 方 法 

两 两 组 合 覆 盖 方 法 是 一 种 由 正 交 试 验 设计 方法 演化 而 来 的 一 种 方法 ,这 种 方法 更 适合 
于 软件 测试 。 正 交 试验 设 计 方 法 要 求 对 待 测 系统 中 各 个 参数 取 值 两 两 组 合 的 等 概率 获 盖 ， 
而 在 软件 测试 中 ,只 需要 对 各 种 参数 组 合 进行 覆盖 就 可 以 了 ,而 不 需要 等 概率 。 

例如 ,对待 测 系统 使 用 两 两 组 合 覆 盖 方 法 ,首先 根据 表 4-1 产生 一 个 两 两 组 合 柳 六 表 ， 
如 表 4-3 所 示 , 这 个 表 就 是 两 两 组 合 覆 盖 的 测试 用 例 表 。 


表 4-3 两 两 组 合 覆盖 表 


显卡 声卡 调制 解 调 器 打印 机 主板 
Ai Bl C D; El 
A B C: D, 下: 
A B: C D, E 
A: B C: D, 下 > 
A: B. CO D; 下 
A: B; C: 了 : El 


在 本 例 中 , 表 4-3 中 的 6 个 测试 用 例 要 比 多 次 单 因素 试验 方法 中 表 4-2 的 6 个 例子 的 质 
量 高 ,因为 同样 6 个 测试 用 例 覆 盖 了 所 有 的 两 两 组 合 。 

两 两 组 合 覆 羡 方 法 需要 的 测试 用 例 数目 x 有 个 下 界 , 即 : nmaxas Xaj ,一般 情 况 下 ， 
比 正 交 试验 设计 方法 所 需要 的 测试 用 例 数目 少 , 在 有 些 情况 下 ,甚至 少 很 多 。 

(3) 正 交 试验 设计 方法 

当 设 备 的 种 类 比较 少 , 且 每 一 类 设备 可 供 选 择 的 硬件 也 比较 少 的 情况 下 ,可 以 考虑 利用 
正 交 试验 设计 方法 进行 配置 测试 。 正 交 试 验 设计 方法 是 一 种 帮助 设计 较为 合理 的 试验 方案 
的 科学 方法 ,在 工农 业 生产 和 科学 试验 中 有 着 广泛 的 应 用 , 它 利 用 正 交 表 进 行 试验 设计 , 仅 
作 较 少 次 数 的 试验 , 便 能 得 出 较为 明确 可 靠 的 结论 。 正 交 试验 设计 方法 要 求 任意 两 个 参数 
的 各 种 取 值 组 合 等 概率 出 现 。 对 表 4-1 中 的 配置 情况 用 表 4-4 的 正 交 表 设 计 可 产生 的 相应 
的 测试 用 例 集 。 

这 组 测试 用 例 实现 了 对 所 有 参数 的 两 两 组 合 覆 盖 , 但 需要 的 测试 用 例 的 规模 比 两 两 组 
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合 覆 盖 方 法 较 大 一 些 。 而 且 一 般 情 况 下 ,测试 用 例 的 数量 m 全 max(Cmaxar) 区 


在 软件 测试 中 ,人 们 利用 正 交 试验 设计 法 已 经 取得 了 很 好 的 效果 ,但 这 种 方法 存在 3 个 
方面 的 缺点 : 该 方法 依赖 于 正 交 表 , 正 交 表 的 构造 还 存在 很 多 未 解决 的 问题 ,在 很 多 情况 
下 的 正 交 表 还 无 法 构造 ; @ 很 多 情况 下 , 正 交 表 的 规模 仍然 很 大 , 即 需要 的 测试 用 例 的 规模 
还 需要 进一步 减少 ; @ 软 件 测试 中 ,各 种 因素 的 两 两 组 合 只 要 出 现 一 次 就 可 以 了 ,并 不 需要 
等 概率 覆盖 。 因 此 在 软件 测试 中 ,用 得 较 多 的 是 两 两 组 合 获 盖 方法 。 

(4) 均匀 设计 法 

均匀 设计 方法 是 我 国 数学 家 方 开 泰 教授 和 王 元 教授 在 1978 年 共同 提出 的 ,特点 是 保证 
所 有 参数 的 各 个 取 值 都 能 取 到 ,而 且 考 虑 到 试验 点 在 试验 范围 内 的 均匀 分 布 。 这 种 方法 在 
很 多 领域 有 着 广泛 的 应 用 ,并 取得 了 丰硕 的 成 果 。 这 里 同样 可 以 应 用 均匀 设计 方法 进行 软 
件 测试 的 测试 用 例 设 计 , 用 这 种 方法 对 待 测试 软件 进行 配置 测试 的 测试 用 例 进 行 设 计 。 

均匀 设计 法 利用 均匀 设计 表 来 产生 试验 设计 方案 ,并 不 是 对 于 任意 情形 都 存在 相应 的 
均匀 设计 表 , 因 此 需要 灵活 应 用 。 对 于 本 例 就 无 法 直接 利用 均匀 设计 表 安排 测试 用 例 , 而 是 
采用 拟 水 平 法 , 先 选 用 均匀 设计 表 U? (6°) ,根据 它 的 均衡 性 从 中 选 出 前 5 列 , 并 将 其 中 的 
1.2.3 用 1 代入 ,4.5.6 用 2 代入 ,然后 再 将 每 一 列 中 值 1 和 2 用 相应 的 本 例 中 的 参数 值 代 
和 ,得 到 的 表 4-5 就 是 一 个 具有 很 好 均衡 性 的 配置 测试 用 例 表 。 


表 4-4 正 交 表 Ls(2:) 表 4-5 ”利用 均匀 设计 产生 的 测试 用 例 
有 显卡 声卡 调制 解 调 器 打印 机 主板 
和 人 

A1(1) Bi(1) Ci(1) D; (2) E,(2) 
| -| 
A1(1) B; (2) C:(2) Di(1) Ei(1) 
| Wt 六 家 区 起 
1 1 2 1 
21122 1(1) (2) 1(1) (2) 1(1) 
21211 A:(2) Bi(1) C2 (2) Di(1) E,(2) 
22112 A: (2) Bi(1) C1(1) D; (2) E,(2) 
22221 A:(2) B: (2) C:(2) Di(1) Ei(1) 


均匀 设计 法 可 以 实现 对 各 个 配置 参数 的 值 覆盖 ,并 且 当 每 个 参数 的 各 个 值 之 间 有 序 关 
系 时 ,这 种 方法 产生 的 试验 点 均匀 地 分 布 在 样本 空间 中 。 当 系统 配置 参数 不 是 很 多 ,但 每 个 
参数 的 取 值 个 数 比 较 多 , 且 值 与 值 之 间 有 序 关 系 时 ,这 种 方法 很 有 效 。 但 在 配置 测试 中 ,一 
般 情 况 下 ,不 仅 配置 参数 多 ,每 个 参数 的 取 值 个 数 也 比较 多 ,而 且 这 些 值 之 间 没 有 什么 序 关 
系 , 特 别 是 在 各 种 配置 参数 的 取 值 数 不 同 时 ,就 很 难 找到 合适 的 均匀 设计 表 来 设计 测试 用 
例 。 例 如 , 当 考 虑 配置 参数 的 个 数 多 于 配置 参数 的 取 值 个 数 时 ,利用 均匀 设计 法 就 很 难 找到 
合适 的 均匀 设计 表 。 

(5) 多 因素 组 合 覆盖 法 

对 于 有 些 比 较 重要 的 配置 测试 ,如 果 做 完全 测试 ,工作 量 又 太 大 。 但 如 果 只 按 上 面 介绍 
的 一 些 方法 来 进行 测试 ,尽管 这 些 方法 都 有 科学 的 依据 ,具有 很 好 的 优点 ,但 毕竟 测试 的 次 
数 比较 少 ,没有 进行 完全 测试 ,一 定 存在 很 大 的 风险 。 为 了 把 这 些 风 险 降低 到 最 低 限 度 ,可 
以 根据 具体 情况 ,例如 , 当 每 个 配置 参数 的 取 值 个 数 比较 少时 ,可 以 选择 如 三 三 组 合 覆 盖 ` 四 
四 组 合 覆 盖 等 多 因素 组 合 覆 盖 方 法 进行 配置 测试 。 


例如 ,在 表 4-1 所 示 的 例子 中 就 可 以 采 


三 三 组 合 覆 盖 和 四 四 组 合 覆 盖 ,当选 月 
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组 合 覆盖 时 需要 10 条 测试 用 例 ( 如 表 4-6 所 示 ) ,用 四 四 组 合 覆 盖 时 需要 16 条 测试 用 例 
(如 表 4-7 所 示 )。 这 些 都 比 完全 测试 时 的 32 条 测试 用 例 少 得 多 ,这样 一 方面 可 以 大 大 降 
低 软件 因 不 完全 测试 而 带 来 的 风险 , 另 一 方面 软件 测试 的 工作 量 又 被 降低 到 最 低 限 度 。 


表 4-6 三 三 组 合 覆盖 方法 产生 的 测试 用 例 表 
No 显卡 声卡 调制 解 调 器 打印 机 主板 
1 As B Cz D, E, 
2 As B， Lg D; 已 
3 As B， CG D 已 
4 A， B， 2 D， E, 
5 As Bi C D: E 
6 A; Bi C D， E, 
A B， CG: D: E, 
8 A B， C D, 已 
9 Ai B C; D E, 
10 A B G D: 已 
表 4-7 四 四 组 合 覆盖 方法 产生 的 测试 用 例 表 
No 显卡 声卡 调制 解 调 器 打印 机 主板 
1 A; B, C D: El 
2 A: B, CG D E, 
3 A; B, 本 起 E, 
4 As B: C D El 
5 A: B CG D: E, 
6 A: B， G D, 已 
A; B (Sf D: El 
8 A: B C D， E, 
9 A B, C D; E, 
10 A 了 C: D' E 
11 A B; G D; El 
12 Ai B, G D, E, 
13 Ai Bi Ce D; 已 
14 A Bi Cz D E, 
15 A B G D; E, 
16 A Bi C D, 已 
3. 优 缺 点 


软件 配置 测试 是 软件 测试 的 一 个 重要 内 容 , 人 们 在 进行 配置 测试 时 遇 到 的 最 大 问题 就 
是 如 何 从 数目 庞大 的 配置 组 合 中 选择 少量 有 代表 性 配置 组 合 。 一 般 常 用 的 办 法 是 通过 等 价 
划分 .选择 主流 配置 .简化 配置 要 求 等 方法 将 各 种 配置 可 能 性 降低 到 可 控制 的 范围 ,但 这 些 
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方法 往往 使 得 有 些 配置 无 法 得 到 测试 。 

试验 设计 方法 在 很 多 领域 一 直 是 质量 控制 和 保证 的 重要 标准 ,在 软件 测试 中 也 有 着 很 
重要 的 应 用 。 在 网 络 协议 测试 .编译 器 的 测试 等 方面 组 合 测试 方法 也 得 到 了 成 功 的 应 用 。 
由 于 配置 测试 情况 比 一 般 的 软件 测试 更 复杂 ,有 必要 根据 具体 的 要 求 ,结合 试验 设计 方法 的 
优点 ,进行 科学 的 测试 方案 的 设计 (本 节 内 容 与 5. 1 节 内 容 结 合 使 用 ) 。 


习题 4.15 


1. 为 什么 要 进行 配置 测试 ? 
2. 常用 的 配置 测试 方法 有 哪些 ? 


人 .16 文档 测试 (Document Testing ) 


由 于 软件 三 程序 十 数据 十 文档 十 服务 ,文档 是 软件 中 的 一 个 重要 内 容 , 因 此 文档 测试 是 
软件 测试 中 的 一 个 重要 内 容 。 所 谓 文档 测试 就 是 针对 软件 开发 ,维护 的 全 生命 周期 中 涉及 
的 文档 展开 测试 ,检查 其 正确 性 、 规 范 性 、 清 晰 性 和 完整 性 等 。 

文档 测试 的 对 象 包括 可 以 帮助 顺利 完成 软件 安装 的 安装 手册 、 指 导 用 户 使 用 软件 的 用 
户 手 册 、 联 机 帮助 .实例 与 模板 、 错 误 提示 、 授 权 或 注册 登记 表 和 用 户 许可 协议 、 软 件 的 包装 
和 市 场 宣传 材料 等 。 

对 于 不 涉及 程序 运行 的 文档 ,例如 授权 登记 表 , 主 要 是 确保 文档 正确 .完备 .易于 理解 。 
而 对 于 涉及 运行 程序 的 文档 ,应 在 运行 程序 时 同时 检查 对 应 的 文档 ,保证 文档 与 程序 运行 结 
果 的 一 致 性 。 文 档 要 尽量 使 用 图 形 化 表示 ,使 得 用 户 易 于 理解 和 掌握 。 

文档 测试 不 同 于 一 般 的 检查 和 审查 工作 ,主要 是 针对 系统 提交 给 用 户 的 文档 进行 验证 ， 
文档 测试 的 目的 是 验证 用 户 文档 是 正确 的 并 且 保证 操作 手册 所 描述 的 过 程 能 够 正确 工作 。 
文档 测试 需要 测试 人 员 和 用 户 换 位 思考 ,测试 人 员 完 全 站 在 客户 的 角度 考虑 和 评价 被 测试 
系统 ,按照 文档 中 的 说 明 进 行 操作 ,进而 发 现 问题 并 做 好 记录 。 测 试 人 员 主 要 做 好 以 下 几 
点 : 首先 对 整个 文档 进行 一 般 的 评审 ,然后 一 个 一 个 地 进行 详细 评审 ; 根据 所 使 用 的 文档 
设计 多 个 测试 用 例 进行 验证 ; 严格 地 按照 文档 中 记述 的 内 容 使 用 系统 ; 测试 每 一 个 涉及 的 
提示 和 意见 ; 测试 系统 中 出 现 的 所 有 在 线 帮助 文档 及 其 链接 ,并 保证 所 有 可 能 检索 到 的 条 
目 有 相应 的 文档 说 明 ; 客观 地 测试 每 条 语句 ,不 能 想当然 ; 保证 文档 覆盖 所 有 关键 用 户 功 
能 ; 验证 所 有 错误 信息 以 及 文档 中 涉及 的 每 个 样 例 ; 保证 用 户 文档 的 可 读 性 ,尽量 避免 使 
用 专业 性 过 强 的 专业 术语 ; 针对 系统 中 相对 薄弱 的 区 域 对 其 进行 详细 说 明 , 把 系统 中 的 缺 
陷 并 入 缺陷 跟踪 库 。 


习题 4.16 


文档 测试 主要 检查 什么 ? 
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.7 兼容 性 测试 (Compatibility Testing) 


1. 概念 


兼容 性 测试 是 检验 被 测试 软件 与 其 他 软件 之 间 能 和 否 正确 交互 和 实现 信息 共享 ,软件 的 
交互 不 仅 限于 在 同一 台 计算 机 上 运行 的 软件 之 间 , 也 包括 通过 网 络 与 远 在 异地 的 不 同 计算 
机 上 运行 的 软件 进行 交互 。 兼 容 性 测试 无 法 做 到 完全 的 质量 保证 ,但 对 于 一 个 项 目 来 讲 , 兼 
容 性 测试 是 必 不 可 少 的 一 个 步骤 。 

针对 软件 自身 而 言 ,有 向 前 和 向 后 兼容 性 问题 。 向 前 兼容 是 指 被 测试 软件 与 其 未 来 版 
本 保持 兼容 ,向 后 兼容 则 指 软件 与 其 以 前 版 本 兼容 。 向 后 兼容 是 对 被 测试 软件 的 基本 要 求 ， 
否则 用 户 以 前 所 做 的 工作 在 新 版 本 中 打 不 开 , 这 将 给 用 户 带 来 巨大 损失 。 向 前 兼容 是 一 个 
较 高 的 要 求 ,软件 应 该 预 留 很 多 接口 ,即使 很 多 非常 流行 的 软件 也 很 难 做 到 。 无 论 向 前 兼容 
还 是 向 后 兼容 都 是 限定 在 一 定 范围 内 的 兼容 ,不 需要 考虑 对 所 有 版 本 的 兼容 。 

兼容 性 测试 的 另 一 个 问题 是 检测 被 测试 软件 与 其 他 应 用 程序 的 兼容 性 问题 。 在 当前 的 
操作 平台 上 ,使 用 的 应 用 程序 种 类 繁多 ,被 测试 软件 能 否 与 它们 兼容 ? 当然 没有 必要 检测 被 
测试 软件 与 所 有 这 些 软件 之 间 的 兼容 性 ,只 需 选 择 与 被 测试 软件 关系 最 密切 的 、 最 重要 的 应 
用 程序 ,并 选择 不 同 版 本 组 合成 测试 用 例 来 展开 测试 。 例 如 ,我 们 测试 一 套 网 络 软件 系统 ， 
需要 对 当前 市 面 上 流行 的 多 种 网 页 浏览 器 软件 以 及 它们 的 不 同 版 本 是 否 兼容 进行 测试 。 

数据 共享 是 兼容 性 测试 的 一 个 重要 内 容 ,在 应 用 程序 之 间 共 享 数据 是 对 用 户 友好 的 表 
现 , 所 开发 的 软件 应 符合 公开 的 标准 和 规范 ,应 允许 软件 与 其 他 相关 应 用 程序 之 间 方 便 地 交 
互 数据 。 针 对 数据 共享 的 兼容 性 测试 主要 考虑 以 下 方面 的 问题 ; 文件 是 否 能 够 正常 保存 和 
读 取 , 包 括 从 硬盘 、U 盘 ,. 光 盘 等 各 种 存储 介质 读 取 和 存 信 这些 介 质 ; 文件 的 正常 导入 和 导 
出 ; 能 够 支持 剪 切 、 复 制 和 粘贴 操作 ; 支持 软件 不 同 版 本 间 的 数据 转换 ,用 户 可 以 在 新 版 本 
中 使 用 原来 的 文件 ,反之 亦 可 ,例如 ,在 Office 2003 中 使 用 Office 2007 文件 。 


2; 例子 


(1) 浏览 器 兼容 性 问题 

目前 下 .360、SouGou、Chrome、FireFox 等 众多 浏览 器 占领 着 整个 浏览 器 市 场 , 它 们 都 
完成 着 网 络 浏览 的 工作 却 又 各 有 特色 ,各 放 异 彩 的 同时 也 带 来 了 网 站 对 浏览 器 兼容 性 的 问 
题 。 浏 览 器 兼容 性 问题 又 被 称 为 网 页 兼容 性 或 网 站 兼容 性 问题 , 指 网 页 在 各 种 浏览 器 上 的 
显示 效果 可 能 不 一 致 而 产生 浏览 器 和 网 页 间 的 兼容 问题 。 浏 览 器 兼容 性 问题 的 产生 原因 
是 ,不 同 浏览 器 使 用 内 核 及 所 支持 的 HTML 等 网 页 语言 标准 不 同 ,以 及 用 户 客户 端的 环境 
不 同 ( 如 分 辩 率 不 同 、 缩 放 程度 不 同等 ) 造 成 的 显示 效果 不 能 达到 理想 效果 。 

(2) 浏览 器 兼容 性 测试 工具 

浏览 器 兼容 性 测试 的 工具 多 种 多 样 , 大 多 的 原理 都 是 调用 不 同 的 浏览 器 客户 端 程序 ,将 
其 页 面 进行 更 好 地 展示 ,方便 用 户 查看 和 比较 .有 些 工具 进行 了 一 些 智 能 的 判断 ,对 其 明显 
的 兼容 性 问题 进行 了 提示 。 

Superpreview ,微软 发 布 的 网 页 开发 调试 工具 . 自 带 有 很 多 元 素 查看 工具 ,如 箭头 、 移 
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动 .辅助 线 、 对 比 等 ,在 查看 网 页 的 IE 6/IE 7/IE 8 不 同 表现 的 同时 ,可 以 对 比 效果 。 在 
SuperPreview 中 ,人 们 可 以 同时 浏览 网 页 在 各 个 版 本 的 IE 中 的 效果 ,对 页 面 排版 进行 直观 
的 比较 。SuperPreview 的 可 用 IE 版 本 视 系 统 已 安装 I 浏览 器 的 版 本 而 定 , 如 果 系 统 安装 
了 IE 8, 那 SuperPreview 浏览 器 测试 可 用 版 本 就 包括 IE 8、IE 7 和 IE 6。 

IETester 是 一 个 免费 的 WebBrowser 控件 ,专门 用 于 测试 网 页 在 IE 浏览 器 各 个 版 本 中 
兼容 性 的 工具 ,版 本 包含 IE 5.5 至 IE9 的 各 个 版 本 ,完全 可 以 满足 对 IE 兼容 性 的 测试 。 

BrowserShots 在 不 同 操 作 系 统 的 不 同 浏览 器 下 将 网 页 做 成 截图 ,这 是 一 个 免费 的 开源 
工具 ,提供 给 设计 师 一 个 方便 的 途径 来 测试 网 站 在 不 同 浏览 器 下 的 兼容 性 。 用 户 提 交 的 网 
址 会 被 加 入 一 个 任务 队列 ,一 群 分 布 式 的 计算 机 会 在 浏览 器 中 打开 该 网 站 ,然后 开始 将 截图 
上 传 到 中 央 独 立 服务 器 供用 户 浏 览 。BrowserShots 是 最 有 名 、 也 是 最 古老 的 浏览 器 兼容 性 
测试 工具 。 

Spoon Browser Sandbox 也 是 一 个 很 重要 的 浏览 器 兼容 性 测试 工具 ,在 该 工具 中 点 击 
所 需要 测试 的 浏览 器 环境 ,安装 插件 就 可 以 进行 测试 了 。 帮 助 测试 人 员 测 试 网 页 在 Safari、 
Chrome、FireFox 和 Opera 浏览 器 中 是 否 正常 。 这 个 插件 利用 了 虚拟 机 的 方式 ,达到 浏览 器 
多 版 本 共存 ,效果 和 浏览 器 的 一 样 。 


习题 4.17 
为 什么 要 进行 兼容 性 测试 ? 


人 ie 试 玩 测试 (Playtest) 


Playtest 方法 是 一 种 游戏 设计 开发 过 程 中 ,在 游戏 投放 市 场 之 前 ,为 了 检查 发 现 游戏 中 
潜在 的 错误 ,进一步 改进 游戏 而 采取 的 一 种 测试 方法 ,该 方法 就 是 要 求 请 游戏 的 玩家 来 玩 这 
个 游戏 ,这 种 方法 可 以 是 开放 的 、 封 闭 的 或 者 B 式 的 。 开 放 的 Playtest 方法 是 指 将 游戏 开放 
给 任何 想 加 入 的 人 来 玩 或 者 是 指 公司 在 外 面 招 人 来 玩 这 个 游戏 。 封 闭 的 Playtest 方法 是 指 
内 部 测试 过 程 ,不 对 外 公布 的 。B 式 Playtest 方 法 是 指 在 游戏 投放 市 场 之 前 的 最 后 阶段 ,为 
了 最 后 发 现 一 些 问 题 ,而 采取 的 一 种 半 开 放 、 半 封闭 的 Playtest 方法 。 

在 电脑 游戏 ,棋盘 游戏 或 者 角色 扮演 游戏 中 ,Playtest 方法 是 非常 常见 的 测试 方法 ,并 
已 成 为 这 个 领域 的 非常 重要 的 质量 控制 过 程 。 

Playtest 方法 已 经 在 体育 运动 中 得 到 应 用 ,足球 竞技 联合 的 发 起 人 和 创建 者 Jim Foster 
在 1986 年 就 通过 一 个 一 次 性 的 比赛 测试 了 他 的 室内 足球 的 概念 ,测试 证 明成 功 之 后 ,第 二 
年 就 有 4 支 球 队 参 加 了 室内 足球 联赛 。 


习题 4.18 


Playtest 主要 用 于 测试 游戏 软件 ,偏重 于 游戏 规则 的 测试 ,请 选择 读者 自己 手机 上 安装 
的 一 款 游戏 ,进行 此 类 Playtest。 
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.19 可 恢复 性 测试 (Recovery Testing) 


基于 计算 机 的 系统 应 能 在 限定 的 时 间 内 从 失效 状态 中 恢复 过 来 ,并 继续 运行 ,类 似 操作 
系统 .数据 库 管 理 系统 和 远程 处 理 系统 等 这 类 软件 都 有 可 恢复 性 目标 。 恢 复 性 测试 主要 检 
测 软件 系统 从 软件 或 硬件 失效 中 (包括 程序 错误 ,数据 错误 和 硬件 错误 ) 恢 复 的 能 力 ,验证 系 
统 在 应 用 程序 执行 过 程 中 中 断 和 回 到 特殊 点 的 特性 。 

恢复 性 测试 的 过 程 中 ,测试 人 员 扮演 破坏 者 的 角色 ,通过 采用 多 种 人 工 干预 方式 来 使 系 
统 失 效 ,从 而 检验 系统 的 恢复 能 力 。 使 系统 能 够 从 失效 中 恢复 , 则 测试 的 重点 在 于 对 重新 初 
始 化 ,数据 恢复 .重启 等 功能 的 正确 性 验证 ; 若 系统 必须 通过 人 工 干 预后 才能 从 失效 中 恢 
复 , 则 测试 重点 还 包括 评估 平均 恢复 时 间 是 否 在 规定 的 范围 内 。 

恢复 性 测试 中 需要 考虑 的 问题 包括 : 恢复 过 程 是 否 能 够 正确 工作 ; 系统 保护 和 恢复 过 
程 是 否 为 错误 提供 足够 的 反应 ; 是 否 存在 潜在 的 灾难 和 已 确认 的 系统 失效 ,导致 的 后 果 是 
怎样 的 ? 恢复 性 测试 经 常 采用 故障 注入 的 测试 方法 , 即 通过 软件 或 硬件 的 方式 模拟 软件 系 
统 规定 的 故障 模式 ,检查 软件 对 硬件 故障 的 自 恢复 能 力 。 例 如 ,在 软件 系统 运行 中 断 电 、 再 
加 电 , 这 种 方式 一 致 被 认为 是 最 有 效 的 硬件 故障 模拟 手段 。 在 可 恢复 性 测试 中 要 重点 考察 
软件 运行 中 间 状 态 的 记录 、 历 史 状 态 的 累计 与 清理 等 机 制 。 


习题 4.19 


1. 可 恢复 性 测试 主要 检查 软件 哪些 方面 的 能 力 ? 
2. 简 述 软件 可 恢复 性 能 力 的 重要 性 。 


@.20 逢 载 测试 (Uninstall Testing) 


软件 能 安装 ,当然 要 求 能 印 载 , 拿 得 起 就 要 放 得 下 。 有 的 软件 印 载 的 时 候 会 提示 用 户 是 
否 保留 设置 ,这 样 用 户 以 后 如 果 需 要 使 用 ,那么 再 安装 的 时 候 就 不 需要 再 花 时 间 去 对 软件 进 
行 设置 了 ,比如 QQ、360 都 有 这 功能 。 但 有 的 软件 比较 不 好 ,用 户 选择 完全 印 载 ,也 不 保留 
设置 ,但 它 就 是 非 要 在 磁盘 和 注册 表 里 面 拥 有 一 个 毫 无 意义 的 文件 夹 。 而 网 易 CC 则 是 会 
在 ProgramData 下 面 保留 一 个 快捷 方式 ,无 论 是 使 用 Windows 自 带 的 控制 面板 还 是 Total 
Uninstall 印 载 都 会 保留 。 还 有 的 软件 更 是 奇怪 , 像 凯立德 导航 , 先 装 上 它 , 然 后 印 载 ,之 后 
磁盘 里 面 会 保留 一 个 叫 Navi 的 文件 夹 ,假使 把 这 个 文件 夹 删 掉 , 那 么 再 装 上 凯立德 导航 ,再 
使 用 的 时 候 它 会 提示 找 不 到 Navi 这 个 文件 夹 而 无 法 使 用 。 

印 载 测试 是 对 软件 的 全 部 .部 分 或 升级 印 载 处 理 过 程 的 测试 。 测 试 人 员 在 测试 的 时 候 
应 该 在 待 测试 程序 安装 之 前 给 系统 一 个 快照 ,而 在 印 载 后 再 与 之 前 的 快照 进行 对 比 ,这样 该 
程序 是 否 在 安装 卸载 的 过 程 中 产生 了 垃圾 就 一 目 了 然 了 。 

因此 , 印 载 测试 主要 是 测试 软件 能 和 否 印 载 , 卸 载 是 否 干净 ,对 系统 有 无 更 改 , 在 系统 中 的 
残留 与 后 来 的 生成 文件 如 何 处 理 等 。 还 有 原来 更 改 的 系统 值 是 否 修改 回去 。 
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习题 4.20 
印 载 测 试 主要 检查 软件 哪些 方面 的 特性 ? 


@.21 能 力 测试 (Facility Testing) 


能 力 测试 是 一 种 典型 系统 测试 类 型 , 它 判断 目标 文档 提 及 的 每 一 项 能 力 是 否 确实 已 经 
实现 ,这 里 指 的 能 力 除了 包括 软件 功能 ,还 包括 其 他 方面 的 内 容 , 为 了 避免 与 功能 测试 发 生 
混淆 而 不 使 用 “功能 ”一 词 。 

能 力 测试 的 过 程 是 逐条 语句 地 检查 目标 文档 。 当 某 条 语句 定义 了 一 个 要 做 什么 ,就 判 
断 程序 是 否 满足 。 例 如 “编码 风格 应 该 一 致 ,程序 中 有 充分 的 易于 理解 的 注释 ”“ 用 户 界面 
应 该 符合 规范 ”等 等 。 

能 力 测试 与 功能 测试 是 完全 不 一 样 的 ,功能 测试 侧重 检查 软件 各 项 功能 本 身 是 否 被 正 
确实 现 ,能 力 测试 不 仅 要 检查 各 项 软件 功能 是 否 齐全 ,还 要 检查 像 程序 编码 规范 、 代 码 可 读 
性 等 非 功能 属性 。 

能 力 测试 可 以 在 不 使 用 计算 机 的 情况 下 进行 ,有 时 人 工 对 目标 和 用 户 文档 进行 比较 就 
足够 了 。 在 能 力 测试 中 一 般 都 使 用 问题 检查 单 ,以 保证 在 下 一 次 测试 时 ,人 工 检查 的 目标 是 
一 样 的 。 


习题 4.21 
能 力 测试 与 功能 测试 有 什么 区 别 ? 


人 22 健壮 性 测试 (Robustness Testing) 


健壮 性 是 指 在 异常 情况 下 ,软件 还 能 正常 运行 的 能 力 。 健 壮 性 有 两 层 含义 : 一 是 容错 
能 力 ; 二 是 恢复 能 力 。 健 壮 性 测试 是 一 种 非常 重要 的 软件 质量 保证 方法 ,包括 容错 性 测试 
和 恢复 性 测试 两 个 方面 的 内 容 。 

软件 的 容错 性 测试 是 测试 软件 的 鲁 棒 性 , 即 软件 在 无 效 输入 或 压力 环境 条 件 下 可 以 正 
确 运行 的 程度 。 容 错 性 测试 一 般 通 过 构造 一 些 不 合理 的 输入 来 引诱 软件 出 错 , 例 如 ,输入 错 
误 的 数据 类 型 .输入 定义 域 之 外 的 数值 等 ,在 测试 客户 -服务 器 模式 的 网 络 软件 时 ,关闭 数据 
库 服务 器 或 者 拔 掉 网 线 等 。 

恢复 性 测试 主要 测试 系统 在 出 现 故障 时 ,是 否 能 够 自动 恢复 ,或 者 能 够 忽略 故障 继续 运 
行 。 恢 复 性 测试 重点 考察 系统 是 否 能 重新 运行 ,有 无 重要 数据 丢失 以 及 是 否 毁 坏 了 其 他 相 
关 的 软 硬 件 等 。 

为 了 使 系统 具有 良好 的 健壮 性 ,要求 设计 人 员 在 做 系统 设计 时 必须 周密 细致 ,尤其 要 注 
意 妥 善 地 进行 系统 异常 处 理 。 一 个 好 的 软件 系统 必须 经 过 健壮 性 测试 之 后 才能 交付 给 
用 户 。 
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习题 4.22 


1. 健壮 性 测试 应 该 包含 哪些 方面 ? 
2. 如 何在 软件 开发 阶段 为 软件 建立 良好 的 健壮 性 ? 


@.23 穿越 测试 (By-pass Testing) 


测试 能 否 非 法 进入 系统 ,例如 , 绕 过 防火 墙 、 服 务 器 检查 进入 服务 器 等 ,如 图 4-3 所 示 ， 
可 以 归 为 安全 性 测试 。 


如 何 穿越 客户 服务 器 ? 


环 数据 
“ 破坏 数据 库 
* 挫 毁 服务 器 
:破坏 安全 检查 


ee 服务 器 


By-pass Testing 


图 4-3 穿越 测试 的 应 用 场景 


穿越 测试 通过 构造 测试 用 例 来 故意 违反 各 种 安全 约束 ,其 目的 是 验证 输入 检查 ,检查 系 
统 的 鲁 棒 性 和 评估 系统 的 安全 性 。 

穿越 测试 一 般 首 先 分 析 客 户 端的 输入 约束 条 件 ,建立 各 种 可 能 的 输入 模型 ,结合 典型 的 
安全 检查 措施 和 一 般 的 输入 错误 ,综合 利用 这 些 信息 来 构造 测试 用 例 ,试图 通过 安全 检查 进 
人 服务 器 系统 ,达到 破坏 服务 器 数据 库 , 甚 至 摧毁 服务 器 系统 的 目的 。 

一 个 最 简单 也 是 最 典型 的 例子 就 是 很 多 人 碰 到 的 自己 的 电子 邮件 账户 被 盗 , 一 般 都 是 
由 于 密码 设置 得 不 够 安全 ,犯罪 分 子 通过 一 些 手段 很 快 地 就 破解 了 电子 邮件 的 账户 密码 。 
犯罪 分 子 在 破解 了 用 户 的 账户 密码 之 后 ,不 仅 获得 了 账户 所 有 人 很 多 私人 秘密 ,有 时 候 他 们 
还 利用 这 个 电子 邮件 账户 以 原 邮 件 账 户 所 有 人 的 名 义 进行 诈骗 。 到 目前 为 止 ,已 经 发 生 过 
无 数 起 这 种 案件 。 


习题 4.23 


检查 读者 自己 的 邮件 密码 .QQ 或 者 MSN 的 用 户 名 和 密码 ,计算 一 下 破解 这 些 密 码 需 
要 多 大 工作 量 ? 
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人 24 在 线 帮助 测试 (Online Help Testing) 


用 户 在 使 用 系统 时 候 , 如 果 出 现 问题 ,首先 求助 的 就 是 在 线 帮 助 。 一 个 糟糕 的 在 线 帮助 
会 很 大 的 打击 用 户 对 系统 的 信心 。 因 此 一 个 好 的 系统 ,必须 要 有 完备 的 帮助 体系 ,包括 用 户 
操作 手册 ,实时 在 线 帮助 等 。 在 线 帮 助 测试 (Online Help Testing) 主要 用 于 验证 系统 的 实 
时 在 线 帮助 的 可 用 性 和 正确 性 。 

在 线 帮 助 给 用 户 提 供 一 种 实时 的 咨询 服务 ,一 个 完善 的 系统 应 该 具备 在 线 帮助 的 功能 。 
在 线 帮助 测试 主要 验证 系统 的 实时 在 线 帮助 的 可 操作 性 和 准确 性 。 在 进行 在 线 帮 助 测试 
时 ,测试 人 员 主 要 关注 以 下 问题 : 

(1) 帮助 文档 的 索引 是 否 准确 无 误 。 

(2) 帮助 文档 的 内 容 是 否 正 确 。 

(3) 系统 运行 过 程 中 帮助 文档 是 否 能 被 正常 激活 。 

(4) 所 激活 的 帮助 内 容 是 否 与 当前 操作 内 容 相 关联 。 

(5) 是 否 在 系统 的 不 同位 置 都 能 激活 帮助 内 容 ? 帮助 文档 的 内 容 是 否 足够 详细 并 能 解 
决 需要 解决 的 问题 ? 

在 实际 操作 过 程 中 ,在 线 帮助 测试 可 以 和 文档 测试 (或 资料 测试 ) 一 起 进行 。 


习题 4.24 


1. 为 什么 需要 在 线 帮 助 测试 ? 
2. 在 线 帮助 主要 为 用 户 提供 哪些 类 型 的 帮助 ? 


@.25 数据 转换 测试 (Data Conversion Testing) 


在 实际 应 用 中 ,常常 会 遇 到 环境 升级 的 问题 ,同时 又 要 保证 以 前 的 数据 不 能 丢失 ,就 是 
说 要 在 新 系统 中 继续 使 用 这 些 数 据 。 那 么 ,在 新 系统 中 使 用 这 些 旧 数据 是 否 会 出 现 问题 ,万 
其 是 新 系统 使 用 了 不 同 于 老 系统 的 数据 格式 时 。 这 时 一 般 需 要 进行 数据 转换 测试 ,该 测试 
的 目标 在 于 验证 已 存在 的 数据 转换 是 否 有 效 。 在 设计 数据 转换 测试 ,需要 考虑 以 下 典型 
因素 : 

(1) 审计 能 力 。 需 要 有 一 个 规程 来 进行 数据 转换 前 后 的 比较 和 分 析 , 以 保证 转换 的 成 
功 。 保 证 审计 能 力 的 技术 包括 文件 报告 .比较 程序 和 回归 测试 。 回 归 测 试 检查 验证 转换 过 
的 数据 不 改变 业务 需求 或 引起 系统 出 现 不 同 的 行为 。 

(2) 数据 库 验 证 。 在 把 数据 转换 到 数据 库 之 前 ,需要 对 转换 后 的 数据 库 的 变化 预先 作 
评审 ,以 确保 转换 方案 的 设计 是 合理 的 、 能 够 满足 业务 需求 。 

(3) 数据 整理 。 在 数据 转换 到 新 系统 之 前 ,需要 检查 老 的 数据 ,以 消除 不 正确 的 数据 和 
了 矛盾 的 数据 。 

(4) 恢复 计划 。 需 要 准备 好 回 退步 骤 把 系统 恢复 到 以 前 的 状态 并 且 撤 销 转 换 操 作 。 必 
须 保证 转换 过 程 不 会 和 正常 的 操作 混杂 在 一 起 。 
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习题 4.25 


1. 数据 转换 测试 主要 用 于 什么 场景 ? 
2. 数据 转换 测试 主要 检查 哪些 方面 的 内 容 ? 


人 .26 备份 测试 (Backup Testing) 


1. 概念 


随 着 计算 机 产业 的 极速 发 展 ,各 式 各 样 的 应 用 软件 层出不穷 。 大 量 软件 的 出 现 也 使 得 
软件 的 质量 参差 不 齐 。 软 件 中 很 重要 的 数据 部 分 常常 遭 到 人 为 或 者 意外 的 破坏 。 网 络 的 发 
展 也 使 得 人 们 的 日 常生 活 越 来 越 丰富 。 但 是 网 络 中 大 量 流通 的 数据 信息 也 相应 带 来 了 安全 
隐患 。 一 旦 出 现 数据 的 丢失 或 者 损坏 ,小 到 给 用 户 带 来 不 好 的 使 用 体验 ,大 到 带 来 不 可 挽回 
的 经 济 损失 。 电 子 设 备 的 普及 给 人 们 的 生活 带 来 极 大 的 方便 ,而 其 中 的 一 些 重要 数据 (如 亲 
朋 的 联系 方式 ,重要 的 备忘录 等 ) 一 旦 出 现 意 外 也 会 给 人 们 带 来 很 大 的 困扰 。 在 这 样 的 背景 
下 ,数据 的 备份 便 变 得 尤为 重要 。 相 应 地 ,在 软件 投入 使 用 前 需要 进行 备份 功能 的 测试 。 

备份 测试 是 可 恢复 性 测试 的 一 个 补充 ,是 恢复 性 测试 的 一 个 部 分 。 备 份 测 试 的 目的 是 
验证 系统 在 软件 或 硬件 失效 的 事件 中 备份 其 数据 的 能 力 。 备 份 测试 需要 从 以 下 几 个 方面 来 
设计 ， 

(1) 备份 文件 ,并 比较 新 旧 文件 的 差异 。 

(2) 存储 文件 和 数据 。 

(3) 完整 的 系统 备份 过 程 。 

(4) 定时 备份 。 

(5) 备份 引起 的 系统 性 能 变化 。 

(6) 手工 执行 备份 工作 的 有 效 性 。 

(7) 系统 备份 “触发 器 ”的 检测 。 

(8) 备份 期 间 的 安全 过 程 。 

(9) 备份 过 程 期 间 维护 处 理 日 志 的 完整 性 。 


2. 目标 


在 此 罗列 一 些 常见 的 备份 功能 ,在 备份 测试 的 设计 中 可 以 予以 参考 : 

(1) 定时 备份 。 定 时 备份 是 最 常用 的 备份 功能 。 即 软件 每 隔 一 段 时 间或 在 固定 的 时 间 
点 自动 对 当前 处 理 的 数据 进行 备份 。 定 时 备份 往往 会 产生 多 个 备份 文件 ,因此 对 备份 文件 
的 管理 以 及 备份 日 志 的 维护 也 是 定时 备份 测试 需要 着 重 关注 的 内 容 。 

(2) 手工 备份 。 手 工 备份 一 般 就 是 软件 的 “另存 为 ?功能 。 在 处 理 大 数据 量 的 软件 备份 
测试 中 ,尤其 要 关注 备份 内 容 的 完整 性 以 及 备份 过 程 对 系统 的 影响 。 

(3) 触发 器 备份 。 严 格 来 说 定时 备份 和 手工 备份 也 是 触发 器 备份 的 一 种 , 即 满足 某 特 
定 触发 条 件 时 系统 进行 的 自动 备份 。 只 是 这 两 者 在 备份 中 占 的 比重 很 高 ,因此 单独 列 为 一 
项 。 除 此 之 外 ,还 有 各 种 触发 器 备份 的 例子 ,例如 ,数据 改动 一 定 程度 、 关 键 点 更 新 、 大 数据 
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量 计算 的 中 间 步 骤 等 等 。 触 发 器 的 选择 依赖 于 软件 本 身 的 功能 ,因此 ,为 了 保证 测试 的 全 
面 ,一 定 要 事先 清楚 地 了 解 软件 具有 的 备份 功能 。 

(4) 针对 极端 /意外 情况 的 备份 。 备 份 功能 很 大 程度 上 就 是 为 了 避免 意外 情况 的 发 生 
(例如 , 断 网 . 断 电 内 存 出 错 、 进 程 崩 溃 等 ) 导 致 的 数据 损坏 和 丢失 。 因 此 很 多 软件 对 应 于 应 
对 意外 情况 都 有 额外 的 备份 机 制 。 对 于 这 样 的 备份 功能 要 着 重 考虑 系统 从 意外 中 恢复 之 
后 ,数据 恢复 的 完整 性 。 

(5) 备份 内 容 管理 。 备 份 数据 的 管理 以 及 备份 日 志 的 维护 是 备份 功能 的 一 个 重要 部 
分 。 对 此 有 必要 单独 对 备份 功能 进行 测试 。 


3. 方法 


备份 测试 并 没有 非常 成 体系 的 方法 。 其 基本 方法 可 分 为 以 下 3 种 : 

(1) 测试 员 在 阅读 软件 说 明文 档 的 基础 上 ,了 解 软件 具有 的 备份 功能 。 选 取 其 中 一 种 ， 
模拟 软件 需要 备份 的 情况 ,观察 软件 是 否 能 够 成 功 备份 数据 ,并 对 整个 备份 过 程 以 及 备份 的 
结果 进行 评价 。 

(2) 测试 员 扮 演 破坏 者 的 角色 ,人 为 的 模拟 各 种 意外 情况 (如 断 电 、 死 机 、 进 程 出 错 等 )， 
观察 软件 是 否 能 成 功 备份 数据 ,并 对 整个 备份 过 程 以 及 备份 的 结果 进行 评价 。 

(3) 多 次 备份 之 后 必然 带 来 备份 文件 的 元 余 。 对 于 备份 文件 的 管理 和 对 过 期 备份 的 清 
理 也 是 测试 员 要 测试 的 内 容 之 一 。 


4. 测试 结果 评估 


备份 不 是 一 个 独立 的 行为 ,会 同时 对 系统 的 多 个 方面 造成 影响 。 因 此 ,对 备份 测试 结果 
的 评价 不 能 仅 停留 在 备份 本 身 , 还 要 考虑 多 个 方面 的 因素 。 评 价 主要 考虑 如 下 4 个 方面 

(1) 备份 质量 评价 。 备 份 测试 最 主要 的 测试 内 容 , 即 测试 软件 在 符合 备份 条 件 的 情况 
下 ,是 否 能 成 功 地 备份 ,是 否 备 份 了 所 有 需要 备份 的 数据 ,备份 的 数据 是 否 能 正确 地 应 用 于 
原始 数据 的 恢复 。 

(2) 备份 过 程 与 系统 的 影响 。 备 份 过 程 必然 要 占用 一 定 的 系统 资源 ,从 而 对 系统 产生 
一 定 的 影响 。 备 份 测试 要 观察 备份 过 程 对 系统 正常 运作 产生 的 影响 。 主 要 从 备份 过 程 是 否 
影响 系统 的 其 他 功能 、 备 份 是 否 具 有 足够 效率 两 方面 评价 。 

(3) 备份 文件 管理 及 日 志 。 备 份 往往 需要 进行 多 次 ,对 应 会 有 多 个 备份 的 版 本 。 为 了 
维护 版 本 ,便于 恢复 时 选取 合适 的 备份 文件 ,备份 往往 需要 一 份 详尽 的 日 志 。 同 时 ,频繁 的 
备份 必定 导致 备份 文件 占据 的 空间 越 来 越 大 。 因 此 对 备份 文件 的 管理 方式 、 及 时 清理 过 期 
的 备份 文件 、 维 护 良好 的 备份 日 志 也 是 备份 测试 所 关注 的 内 容 之 一 。 

(4) 改善 建议 。 结 合 备份 测试 的 结果 ,以 及 在 整个 备份 测试 过 程 中 对 软件 的 使 用 体验 ， 
给 出 对 软件 备份 功能 的 评估 以 及 改善 建议 。 


习题 4.26 


通过 对 常用 的 本 地 软件 (如 Word、PhotoShop 等 )、 网 络 应 用 (如 邮箱 、 博 客 、 微 博 、 主 流 
论坛 和 贴吧 等 ) 和 便携 的 电子 设备 (如 手机 等 ) 具 有 的 备份 功能 进行 测试 ,可 以 总 结 出 比较 一 
般 的 备份 测试 方法 。 并 且 在 测试 的 基础 上 对 备份 的 原理 进行 探讨 ,提出 一 定 的 改进 意见 。 
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@.27 接口 测试 (Interface Testing) 


接口 测试 是 对 软件 需求 规格 说 明 中 的 接口 需求 逐 项 进行 的 测试 。 具 体 测试 要 求 包 括 : 
测试 所 有 外 部 接口 ,检查 接口 信息 的 格式 及 内 容 ; 对 每 个 外 部 输入 输出 接口 必须 做 正常 和 
异常 情况 的 测试 ; 测试 硬件 提供 的 接口 是 否 便于 使 用 ; 测试 系统 特性 (如 数据 特性 、 错 误 特 
性、 速度 特性 ?对 软件 功能 、 性 能 特性 的 影响 。 对 所 有 内 部 接口 的 功能 、 性 能 进行 测试 。 

接口 测试 中 经 常 发 现 的 问题 有 : 软件 实现 与 接口 协议 不 匹配 ,往往 是 软件 接口 设计 文 
档 不 完善 ; 软 硬 件 接口 设计 不 合理 ,例如 ,采用 无 限 循环 的 方式 采集 外 部 接口 数据 ; 软件 输 
入 的 接口 不 做 有 效 性 判断 ; 软件 接口 设计 的 健壮 性 不 够 ,考虑 情况 不 全 面 ; 接口 设计 缺乏 
可 测试 性 ,导致 测试 不 充分 。 


习题 4.27 
接口 测试 主要 检查 什么 ? 


@.28 人 机 交互 界面 测试 (User Interface Testing) 


人 机 交互 界面 测试 对 所 有 人 机 交互 界面 提供 的 操作 和 显示 界面 进行 测试 ,以 检验 是 否 
满足 用 户 要 求 。 具 体 测试 要 求 包括 : 测试 操作 和 显示 界面 及 界面 风格 与 软件 需求 说 明 书 的 
要 求 的 一 致 性 和 符合 性 ; 以 非常 规 操作 、 误 操作 、 快 速 操作 来 检验 人 机 界面 的 健壮 性 ; 测试 
对 错误 命令 或 非法 数据 输入 的 检测 能 力 与 提示 情况 ; 测试 对 错误 操作 流程 的 检测 与 提示 ; 
对 照 用 户 手册 或 操作 手册 逐条 进行 操作 和 观察 。 

人 机 界面 测试 还 应 注意 “ 非 界面 式 ” 的 人 机 交互 部 分 ,例如 ,启动 按钮 .操作 杆 和 复位 键 
等 。 在 人 机 界面 测试 过 程 中 ,不 能 仅 测试 界面 的 设计 是 否 符 合 规格 说 明 , 还 应 该 加 强 对 异常 
操作 、 误 操作 和 非法 操作 等 情况 的 测试 ,因为 在 实际 使 用 过 程 中 ,用 户 可 能 会 出 现任 何方 式 
的 使 用 。 所 以 ,人 机 界面 测试 的 用 例 设 计 一 定 要 充分 考虑 用 户 的 需求 ,包括 用 户 的 类 型 .用 
户 的 使 用 习惯 等 ,必要 时 这 些 用 例 的 编写 或 评审 应 该 邀请 用 户 参 与 进来 。 而 且 测试 中 不 能 
忽视 风格 .美观 和 易 用 性 问题 ,这 些 要 求 未 必 都 在 规格 说 明 中 了 予以 规定 ,但 这 些 内 容 却 是 影 
响 用 户 对 软件 进行 评价 的 关键 因素 。 


习题 4.28 
人 机 界面 测试 主要 检查 哪些 方面 的 内 容 ? 


@.29 余 量 测试 (Remainder Testing) 


余 量 测试 是 对 软件 是 否 达 到 需求 规格 说 明 中 要 求 的 余 量 的 测试 ,车 无 特别 说 明 ,一 般 至 
少 留 有 20% 的 余 量 。 具 体 测 试 要 求 包 括 : 全 部 存储 量 的 余 量 ; 输入 输出 及 通道 的 余 量 ; 功 
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能 处 理 时 间 的 余 量 等 。 

余 量 设计 本 身 是 软件 安全 性 和 可 靠 性 设计 的 准则 之 一 ,目的 是 为 了 保证 程序 执行 过 程 中 
遇 到 资源 以 外 的 情况 时 , 仍 能 维持 正常 运行 状态 。 针 对 余 量 的 测试 ,主要 进行 2 个 方面 的 考虑 : 

(1) 执行 时 间 的 余 量 。 主 要 考察 软件 在 正常 情况 下 运行 ,是 否 保持 在 规定 执行 时 间 
80% 范 围 内 完成 。 

(2) 存储 空间 的 余 量 。 从 静态 和 动态 2 个 方面 考虑 ,静态 余 量 是 指 源 代 码 编 译 链接 后 
的 可 执行 代码 在 存储 器 中 所 占用 的 部 分 是 否 留 有 余 量 ; 动态 余 量 是 指 软件 运行 过 程 中 对 所 
有 相关 存储 器 的 使 用 不 得 大 于 规定 的 量 。 


习题 4.29 
为 什么 要 进行 余 量 测试 ? 


.30 协议 测试 (Protocol Testing) 


协议 测试 已 经 成 为 计算 机 网 络 和 分 布 式 系统 协议 工程 中 最 重要 的 组 成 部 分 ,由 于 协议 
标准 是 使 用 自然 语言 描述 的 ,不 同 的 生产 商会 有 不 同 的 理解 ,从 而 造成 实现 上 的 差异 ,其 至 
是 错误 的 实现 ,所 以 有 必要 对 实现 的 协议 的 正确 性 和 有 效 性 进行 判别 ,这 就 是 协议 测试 。 协 
议 测试 包括 4 个 方面 的 测试 : 

(1) 一 致 性 测试 (Conformance) 。 检 测 所 实现 的 系统 与 协议 规范 符合 程度 。 

(2) 性 能 测试 (Performance) 。 检 测 协议 实体 或 系统 的 性 能 指标 (数据 传输 率 、. 连 接 时 
间 执行 速 度 .吞吐 量 .并 发 度 等 ) 。 

(3) 互 操作 性 测试 (Interoperability) 。 检 测 同一 协议 不 同 实现 版 本 之 间 .或 同一 类 协议 
(如 电子 邮件 协议 X. 400 和 SMTP) 不 同 实 现 版 本 之 间 互 通 能 力 和 互 连 操作 能 力 。 

(4) 坚固 性 测试 (Robustness)。 检 测 协 议 实体 或 系统 在 各 种 恶劣 环境 下 运行 的 能 力 
(信道 被 切断 、 通 信 技 术 掉 电 、 注 入 干扰 报 文 等 )。 

单纯 对 一 个 协议 进行 一 致 性 测试 ,不 能 保证 不 同 协议 实现 之 间 通 信 的 成 功 ,需要 将 协议 
放 在 一 个 实际 的 通信 环境 中 进行 测试 ,检测 该 协议 与 其 他 系统 之 间 是 否 可 以 进行 成 功 可 靠 
的 通信 , 即 互 操作 性 测试 。 一 致 性 和 互 操作 性 测试 都 是 功能 测试 ; 性 能 测试 的 目的 是 检查 
协议 实现 的 性 能 参数 ; 坚固 性 测试 检查 在 各 种 恶劣 环境 下 的 性 能 参数 。 在 这 几 个 方面 的 测 
试 中 ,一 致 性 测试 是 基础 ,只 有 通过 了 一 致 性 测试 ,后 面 的 3 个 方面 的 测试 才 更 有 意义 。 


习题 4.30 
协议 测试 主要 测试 哪些 方面 的 内 容 ? 


.3 内 存 泄漏 测试 (Memory Leak Testing) 


所 谓 内 存 泄漏 ,简单 地 说 就 是 申请 了 一 块 内 存 空间 ,使 用 完毕 后 没有 释放 掉 , 当 程序 运 
行 很 长 时 间 ,占用 内 存 越 多 ,最 终 用 尽 全 部 内 存 , 导 致 整个 系统 崩溃 。 很 多 利用 C、C++、 
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Delphi 等 高 级 语言 开发 的 软件 系统 都 存在 内 存 泄漏 问题 。 

内 存 泄 漏 可 以 分 为 以 下 4 类 : 

(1) 常 发 性 内 存 泄漏 。 发 生 内 存 泄漏 的 代码 会 被 多 次 执行 到 ,每 次 被 执行 的 时 候 都 会 
导致 一 块 内 存 泄 漏 。 

(2) 偶发 性 内 存 泄漏 。 发 生 内 存 泄漏 的 代码 只 有 在 某 些 特定 环境 或 操作 过 程 下 才 会 发 
生 。 常 发 性 和 偶发 性 是 相对 的 。 对 于 特定 的 环境 ,偶发 性 的 也 许 就 变 成 了 常 发 性 的 。 因 此 
测试 环境 和 测试 方法 对 检测 内 存 泄漏 至 关 重 要 。 

(3) 一 次 性 内 存 泄漏 。 发 生 内 存 泄漏 的 代码 只 会 被 执行 一 次 ,或 者 由 于 算法 上 的 缺陷 ， 
导致 总 会 有 一 块 仅 且 一 块 内 存 发 生 泄漏 。 比 如 ,在 类 的 构造 函数 中 分 配 内 存 , 在 析 构 函数 中 
却 没有 释放 该 内 存 , 因 此 内 存 泄漏 只 会 发 生 一 次 。 

(4) 没有 及 时 释放 内 存 。 程 序 在 运行 过 程 中 不 停 地 分 配 内 存 , 但 是 直到 结束 的 时 候 才 
释放 内 存 。 严 格 地 说 ,这 里 并 没有 发 生 内 存 泄漏 ,因为 最 终 程 序 释放 了 所 有 申请 的 内 存 。 但 
是 对 于 一 个 服务 器 程序 ,需要 运行 几 天 、 几 周 甚 至 几 个 月 ,不 及 时 释放 内 存 也 可 能 导 臻 最终 
耗 尽 系统 的 所 有 内 存 。 因 此 ,我们 也 称 这 类 内 存 泄漏 为 隐 式 内 存 泄 漏 。 

从 用 户 使 用 程序 的 角度 来 看 ,内 存 泄漏 本 身 不 会 产生 什么 危害 ,作为 一 般 的 用 户 , 根 本 
感觉 不 到 内 存 汇 漏 的 存在 。 真 正 有 危害 的 是 内 存 泄漏 的 堆积 ,这 会 最 终 消 耗 尽 系统 所 有 的 
内 存 。 从 这 个 角度 来 说 ,一 次 性 内 存 泄漏 并 没有 什么 危害 ,因为 它 不 会 堆积 ,而 隐 式 内 存 汇 
漏 危害 性 则 非常 大 ,因为 较 之 于 常 发 性 和 偶发 性 内 存 汇 漏 它 更 难 被 检测 到 。 

对 于 不 同 的 程序 可 以 使 用 不 同 的 方法 和 不 同 的 工具 来 进行 内 存 泄 漏 的 检查 ,例如 ,可 以 
使 用 MemProof、Purify、BundsChecker 等 工具 。 有 些 开 发 工具 本 身 就 带 有 内 存 问 题 检查 机 
制 ,要 确保 程序 员 在 编写 程序 和 编译 程序 时 打开 这 些 功能 。 


习题 4.31 


1. 为 什么 会 出 现 内 存 泄漏 ? 
2. 内 存 泄漏 会 导致 什么 后 果 ? 


特殊 的 软件 测试 技术 


€.1 组 合 测试 (Combinatorial Testing) 


一 般 情况 下 ,软件 系统 的 某 些 输入 参数 、 软 硬件 配置 .内 外 部 事件 等 因素 及 其 相互 作用 
都 可 能 触发 软件 故障 ,针对 这 类 软件 故障 比较 普遍 存在 的 情况 ,必须 设计 相应 的 测试 用 例 ， 
对 各 种 因素 及 其 相互 间作 用 进行 系统 的 覆盖 性 检测 。 但 这 种 测试 用 例 的 设计 和 生成 存在 以 
下 问题 : 一 是 由 于 影响 软件 的 因素 多 , 且 各 个 因素 的 取 值 情况 复杂 ,因此 ,所 有 可 能 的 因素 
组 合 情 况 形成 了 一 个 数量 巨大 的 测试 用 例 空间 ,穷尽 测试 已 不 可 能 ; 二 是 手工 设计 和 选择 
测试 用 例 难度 大 ,容易 出 错 。 

组 合 测试 是 一 种 充分 考虑 各 种 因素 及 其 相互 作用 的 科学 实用 的 软件 测试 方法 ,这 种 方 
法 克服 了 正 交 实验 设计 ,均匀 设计 等 传统 方法 的 不 足 , 设 计 一 组 数量 较 少 的 测试 用 例 ,直接 
检测 各 种 影响 因素 及 其 组 合 对 软件 产生 的 影响 ,更 适合 于 软件 测试 。 


2. 方法 与 实例 


作为 一 种 复杂 的 逮 辑 体 , 软 件 系 统 的 正常 运行 受到 很 多 因素 的 影响 , 设 影响 待 测 软 件 
(Software Under Testing,SUT) 的 参数 (因素 ) 有 nn 个 , 记 为 C= 二 {co ,cs，…,c,), 这 些 参 数 可 
以 是 SUT 的 配置 参数 .内 部 事件 ,用户 输 入 参数 以 及 外 部 事件 参数 等 。 以 下 不 妨 设 SUT 
的 每 个 参数 c; 可 在 有 限 离散 点 集 T, 中 取 值 ,该 集合 中 有 a; 个 元 素 ,a; 二 1T;|(1<i<n) ,不 
妨 设 w 三 ws 三 …>av ,并 假设 这 些 参 数 是 相互 独立 的 , 即 某 个 参数 的 具体 取 值 不 会 影响 其 他 
参数 的 取 值 或 存在 性 。 用 R 表示 覆盖 需求 ,表示 各 个 参数 间 可 能 存在 的 影响 系统 的 相互 关 
系 ,RS2° ,例如 ,如 果 {cl'cz) ER ,说 明 参 数 c 与 co 之 间 存 在 相互 作用 , 即 参数 c: 与 c; 之 间 
ai Xas 个 值 的 组 合 可 能 触发 软件 故障 ,因此 在 测试 中 要 进行 覆盖 。 在 R 中 约定 : 如 果 {c ， 
cz}ER 且 {clycaycs})ER, 在 R 中 只 保留 {cl ,cs ,cs} ,三 个 参数 间 存 在 影响 系统 的 相互 作用 ， 
包含 了 其 中 某 两 个 参数 相互 作用 影响 系统 的 情况 。 因 此 R 中 任意 两 个 元 素 之 间 互 不 包含 。 

为 了 检测 SUT 中 各 个 参数 及 各 个 参数 间 相 互 作 用 可 能 对 系统 产生 的 影响 ,必须 设计 
一 组 测试 数据 ,实现 对 R 中 各 个 参数 的 取 值 组 合 情 况 进行 充分 覆盖 测试 。 

定义 1 称 n 元 组 (vw,vo sv,) (v1 ETi,vo ET,,…,v,ET,) 为 待 测 系统 SUT 的 一 个 
测试 数据 。 

SUT 所 有 可 用 的 测试 数据 组 成 的 集合 记 为 Test-all, 它 是 由 元 组 组 成 的 集合 , 即 
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Test-all={ (Viv so) [a ET Vv ET wowET 一 人 ET XT, XxX … XT,}, 显 然 
|Test-all| =ai Xas X* Xa,。 

为 了 便于 清楚 地 说 明 问 题 ,这 里 采用 电信 系统 交换 机 通话 功能 的 测试 作为 一 个 实例 
SUT, 它 有 4 个 参数 可 能 影响 该 系统 ,分 别 为 cl 呼叫 种 类 、c 资费 方式 .cs 接 人 


方式 和 cs 状态 。 对 于 这 4 个 参数 变量 的 每 一 个 参数 均 可 以 有 3 种 不 同 的 状态 取 值 ,如 
表 5-1 所 示 。 
表 5-1 交换 机 系统 的 测试 需求 
呼叫 种 类 资费 方式 接 入 方式 状 态 
市 话 被 叫 方 环 路 成 功 
长 途 集中 综合 业务 忙 
国际 免费 专用 分 组 阻塞 


任 一 个 形 如 (市 话 、 集 中 、 综 合 业 务 、 阻 塞 ) 的 四 元 组 是 一 条 测试 用 例 ,如 果 要 把 表 5-1 中 
的 所 有 情况 都 测试 到 ,那么 将 需要 3 二 81 个 这 样 的 测试 用 例 来 遍历 所 有 的 测试 情况 。 一 般 
认为 ,81 次 测试 的 工作 量 太 大 ,而 且 没 有 必要 进行 完全 测试 ,因此 需要 根据 该 系统 的 测试 要 
求 \ 现 有 的 测试 资源 等 选择 测试 用 例 集 。 以 下 针对 SUT 给 出 各 种 不 同类 型 测试 用 例 集 的 
定义 。 

定义 2 对 于 SUT, 设 计 一 个 测试 用 例 集 T. ,如 果 T. 能 将 R 中 各 个 参数 间 的 相互 关系 
覆盖 , 即 对 (cn ,cw ，… ca) ER, 参 数 ci ,cz，… ,ca 的 所 有 an Xa X… Xa 个 值 组 合 都 出 现 
在 T。 的 每 个 测试 用 例 中 , 称 T. 为 满足 关系 尺 的 覆盖 表 。 当 覆盖 需求 R 由 所 有 形 如 (cn， 
ca，"… ,cau ) 元 素 组 成 ,k 固定 且 |R| 二 C;, 即 R 是 所 有 k 个 参数 的 组 合 ,此 时 成 T, 是 k 维 覆 盖 
表 ; 如 果 任意 &A 个 参数 ca ,co，… ,ca 的 所 有 an Xaiz XX… Xaa 个 值 组 合 都 相等 次 数 地 出 现在 
T。 的 测试 用 例 中 ,T. 是 A 维 正 交 表 ; 如 果 上 不 固 定 , 且 任意 k 个 参数 ca,co，… ,ca 的 所 有 
aan XawX…Xaa 个 值 组 合 都 出 现在 T。 的 测试 用 例 中 时 , 称 T. 是 可 变 力 度 覆 盖 表 。 

由 定义 2 可 知 , 正 交 表 是 一 种 覆盖 表 , 反 之 ,覆盖 表 不 一 定 是 正 交 表 ; 4 维 覆 盖 表 是 一 种 
特殊 的 可 变 力度 的 覆盖 表 , 反 之 也 不 一 定 。 利 用 A 维 正 交 表 作 为 测试 用 例 的 组 合 测试 , 仍 称 
为 正 交 实验 ,利用 A 维 覆盖 表 作为 测试 用 例 的 组 合 测试 称 为 A 维 组 合 测试 ,利用 可 变 力 度 覆 
盖 表 作为 测试 用 例 的 组 合 测试 称 为 变 力度 组 合 测试 。 

对 于 表 5-1 中 交换 机 系统 ,如 果 令 R={{ciyca} {cryca} {cisca} {ca scas} {cs osc) {cssca)}， 
|RI=C#, 表 5-2 中 每 一 行 表示 交换 机 系统 测试 的 一 条 测试 用 例 , 此 时 表 5-2 就 是 一 个 2 维 
覆盖 表 。 可 以 看 出 表 5-1 中 的 任意 两 个 参数 的 9 个 值 组 合 都 出 现在 表 5-2 给 出 的 测试 用 例 
中 ,其 实 表 5-2 也 是 2 维 正 交 表 ,因为 任意 两 个 参数 的 组 合 都 只 出 现 一 次 。 表 5-1 也 可 以 作 
为 交换 机 系统 测试 的 1 维 覆 盖 表 。 

参数 及 参数 间 相 互 作用 对 软件 的 影响 在 测试 用 例 中 表现 为 参数 值 和 参数 值 之 间 的 组 合 
对 软件 系统 的 影响 ,以 下 我 们 将 此 定义 为 值 模式 。 

定义 3 对 于 待 测 系 统 SUT, 取 定 某 &(1 志 &k 声 ) 个 位 置 上 的 参数 值 后 形成 的 元 组 
讽 二 (一 0 一 ,DV :一 ,Vhs 一 ,一 ), 称 xm 为 待 测 系统 SUT 的 一 个 & 值 模式 ,在 不 
引起 混淆 时 ,简称 为 模式 ,其 中 “一 ”表示 相应 位 置 上 参数 取 值 待定 。 当 k==n 时 ,对 应 的 模式 
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称 为 全 模式 , 即 为 SUT 的 一 个 测试 数据 。 

由 定义 3 可 知 ,软件 系统 由 参数 或 参数 间 相 互 作用 触发 的 软件 故障 本 质 上 是 某 个 值 模 
式 引发 的 , 当 待 测 系统 SUT 的 一 条 测试 用 例 :一 (wm ,vs，… ,vw ) 在 运行 中 发 现 问题 时 ,由 于 
它 有 C!==n 个 1 值 模式 ,C= 二 n(n 一 1)/2 个 2 值 模式 ,…, C: 二 1 个 值 模式 ,总 共有 2" 一 1 
中 可 能 的 触发 故障 的 值 模式 ,将 的 所 有 值 模式 记 为 M, 。 

令 Mresra 二 UseTesranMM 表示 待 测试 软件 系统 SUT 所 有 可 能 的 值 模式 ,Myr 表示 SUT 
中 存在 的 触发 系统 故障 的 值 模式 ,Mr = Usr M, 表示 测试 用 例 集 T. 覆盖 的 所 有 值 模式 。 
组 合 测试 的 任务 就 是 通过 对 T. 的 精心 选择 ,使 得 它 击 中 故障 模式 , 即 Mjy 门 Mz 关 多 (如 
图 5-1 所 示 ), 从 而 发 现 软件 系统 中 隐藏 的 错误 。 


图 5-1 组 合 测试 原理 图 


一 开始 人 们 利用 正 交 表 设 计 测 试用 例 进 行 软件 测试 ,这 是 将 20 世纪 初期 工农 业 生产 中 
常用 的 正 交 试验 设计 方法 应 用 到 软件 测试 中 来 。 随 着 人 们 对 软件 测试 研究 的 深入 ,发 现在 
软件 测试 中 各 种 组 合 的 覆盖 率 不 需要 相等 ,组 合 覆 盖 率 相等 的 要 求 使 得 相应 的 正 交 表 规 模 
大 ,而 且 某 些 正 交 表 生 成 存在 很 多 困难 。 人 们 完全 可 以 利用 覆盖 表 来 蔡 代 正 交 试 验 设计 方 
法 ,随后 A 维 材 盖 表 在 软件 测试 中 得 到 很 好 应 用 , 维 覆 盖 表 生成 可 以 发 挥 计 算 机 的 计算 优 
势 , 成 为 一 个 新 的 研究 热点 。 其 实在 实际 软件 系统 中 并 不 是 任意 几 个 参数 间 都 存在 相互 作 
用 ,有 些 参数 间 根 本 不 会 有 任何 交互 ,采用 A 维 覆盖 表 还 是 有 点 一 刀 切 ,为 了 降低 成 本 ,突出 
测试 重点 ,人 们 又 提出 可 变 力 度 覆 盖 表 。 正 交 表 维 覆盖 表 和 可 变 力 度 覆 盖 表 都 是 组 合 测 
试 常 用 的 测试 用 例 集 ,组 合 测试 实际 上 是 试验 设计 方法 中 的 一 种 ,它们 之 间 的 关系 可 以 用 
图 5-2 进 行 描述 。 


变 力度 组 合 测试 


人 维 覆 盖 测 试 


正 交 实验 设计 


图 5-2 一 种 特殊 的 实验 设计 方法 一 一 组 合 测试 的 演化 
在 本 文 交换 机 系统 的 实例 中 ,如 果 考 虑 只 覆盖 待 测 系统 中 的 各 个 因素 ,只 需要 按照 


表 5-1 设计 三 个 测试 用 例 就 可 以 了 ; 如 果 考 虑 对 任意 两 个 因素 的 两 两 组 合 进行 覆盖 ,需要 
选择 一 组 两 维 组 合 覆盖 的 测试 用 例 集 (如 表 5-2 所 示 ), 表 5-2 中 每 一 行 都 给 出 了 一 个 测试 
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用 例 ,9 条 测试 用 例 实现 了 对 任意 两 个 因素 间 所 有 值 组 合 的 完全 覆盖 ,都 至 少 出 现 一 次 。 当 
然 , 要 求 更 高 时 ,可 以 设计 使 用 三 维 组 合 覆 盖 测 试用 例 ( 至 少 需要 27 条 测试 用 例 )、 四 维 组 合 
覆盖 测试 用 例 ( 在 本 例 中 即 为 完全 测试 )、 可 变 力 度 的 组 合 覆盖 表 或 其 他 组 合 设计 表 等 。 


表 5-2 组 合 测试 的 测试 用 例 


呼叫 种 类 资费 方式 接 入 方式 状 态 
市 话 集中 专用 分 组 忙 
长 途 免费 环 路 人 忙 
国际 被 叫 方 综合 业务 全 
市 话 免费 综合 业务 阻塞 
长 途 被 叫 方 专用 分 组 阻塞 
国际 集中 环 路 阻塞 
市 话 被 叫 方 环 路 成 功 
长 途 集中 综合 业务 成 功 
国际 免费 专用 分 组 成 功 

3. 优 缺 点 


组 合 测试 的 主要 优点 在 于 : 

(1) 利用 覆盖 表 作 为 测试 用 例 集 ,覆盖 表 是 一 种 旨 在 利用 最 少数 量 的 测试 用 例 , 尽 可 能 
多 覆盖 各 种 参数 值 组 合 情 况 的 测试 用 例 集 ,从 而 达到 以 最 小 代价 最 大 限度 地 系统 检测 软件 
系统 各 种 因素 间 相 互 作用 引发 的 故障 。 

(2) 由 于 很 多 参数 间 并 不 存在 相互 作用 ,或 它们 间 的 相互 作用 不 会 引起 任何 问题 ,相关 
研究 显示 70% 左 右 的 错误 只 是 有 一 个 或 两 个 参数 相互 作用 引起 的 ,几乎 不 存在 6 个 以 上 参 
数 相互 作用 引发 的 故障 ,因此 用 覆盖 表 作 为 测试 用 例 的 组 合 测试 有 可 能 等 效 于 完全 测试 。 

(3) 组 合 测试 很 多 情况 下 是 作为 一 种 基于 规格 说 明 的 软件 测试 方法 ,只 需要 提取 可 能 
影响 软件 的 参数 及 相应 取 值 情 况 ,并 不 需要 过 多 的 具体 实现 细节 ,因此 ,这 是 一 种 轻 量 级 的 
软件 测试 方法 ,很 容易 使 用 。 

(4) 覆盖 表 可 以 方便 地 自动 生成 .组 合 测试 易于 自动 化 。 

像 任何 其 他 测试 方法 一 样 ,组 合 测试 方法 也 有 很 多 不 足 ,主要 原因 在 于 : 

(1) 组 合 测 试 是 一 种 不 完全 测试 ,仍然 存在 着 很 大 的 风险 。 

(2) 如 果 待 测试 软件 系统 的 参数 及 其 取 值 选择 得 不 够 恰当 和 准确 ,组 合 测试 难以 发 挥 
作用 。 

(3) 如 果 对 参数 间 相 互 作用 估计 不 足 , 组 合 测试 会 遗漏 测试 需求 。 

(4) 如 果 没 有 完整 的 预期 输出 ,组合 测试 效果 也 难以 体现 。 因 此 ,组 合 测试 需要 测试 人 
员 的 正确 理解 ,准确 判断 和 恰当 地 使 用 。 


习题 5.1 


1. 组 合 测试 的 目标 是 什么 ? 
2. 简 述 组 合 测试 的 发 展 过 程 。 
3. 组 合 测试 有 哪些 优 缺 点 ? 
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G3 晓 变 测试 (Metamorphic Testing) 


1. 目标 


在 软件 测试 过 程 中 ,如 果 测 试用 例 的 预期 输出 无 法 给 出 ,或 者 难以 生成 ,测试 结果 的 正 
确 与 否 就 很 难 判 断 。 赔 变 测试 就 是 用 来 解决 这 种 问题 , 它 采 用 待 测试 软件 的 性 质 ,通过 观察 
输入 输出 之 间 的 关系 应 该 满足 的 性 质 来 判断 测试 结果 的 正确 性 。 晓 变 测试 也 可 称 为 基于 性 
质 的 软件 测试 , 它 其 实 是 一 种 基于 性 质 的 软件 测试 。 


2. 定义 


赔 变 测试 一 般 指 在 预期 输出 无 法 给 出 的 情况 下 ,通过 设计 各 种 输入 关系 ,观察 输出 是 否 满 
足 预 期 的 性 质 , 用 以 判断 软件 的 正确 性 。 晓 变 测试 是 一 种 基于 性 质 的 软件 测试 ,顾名思义 ,就 
是 测试 软件 具有 的 性 质 是 否 存在 ,通过 测试 软件 具有 的 各 种 性 质 来 进一步 保证 其 质量 。 


3. 原理 


软件 测试 有 两 个 基本 问题 : 一 个 是 可 靠 的 测试 用 例 集 问题 , 即 如 何 生成 一 个 充分 的 测 
试用 例 集 ,该 测试 用 例 集 可 以 实现 对 软件 充分 有 效 的 测试 ; 另 一 个 问题 是 测试 预言 问题 , 即 
如 何 判断 测 试 执行 结果 是 否 正确 的 问题 。 前 面 很 多 测试 方法 解决 第 一 个 问题 ,如 变异 测试 、 
组 合 测试 . 黑 盒 测 试 . 白 盒 测试 等 , 晓 变 测试 解决 待 测试 软件 测试 预言 无 法 给 出 或 者 难以 给 
出 的 问题 。 

赔 变 测试 是 一 种 测试 技术 ,该 技术 根据 已 有 未 能 发 现 软件 故障 的 测试 用 例 , 依 据 一 定 关 
系 或 规则 产生 相应 的 一 个 或 一 组 测试 用 例 , 执 行 这 些 测试 用 例 , 检 查 测试 输出 与 原来 测试 用 
例 的 测试 输出 是 否 满足 一 定 的 性 质 , 以 确定 待 测试 软件 是 否 存 在 故障 或 缺陷 。 更 具体 来 讲 ， 
设 程序 p 在 定义 域 D 上 实现 函数 /,S 是 测试 人 员 采 取 的 测试 准则 (数据 流 或 控制 流 ) ,根据 
这 个 测试 准则 ,选取 的 测试 用 例 集 T={4 ,4s,，…, 4,}CD,n 二 1, 运行 这 组 测试 用 例 产 生 
输出 : p(4), p(s),，…,p(1,) ,如 果 有 预期 输出 /C0) ,ff(12),，…, (4,), 只 要 将 它们 相互 
比较 就 可 以 指导 软件 执行 的 对 错 。 但 是 如 果 预 期 输出 无 法 给 出 或 者 难以 给 出 ,很 多 情况 下 ， 
就 无 法 判断 测试 执行 的 正确 与 否 。 在 这 种 情况 下 .利用 输入 与 输出 之 间 的 一 种 特殊 关系 来 
进行 判断 ,这 种 关系 成 为 暗 变 关系 。 

设 程序 P 用 来 计算 函数 /4 to，…, 1 是 /的 nn 个 测试 输入 , 且 f(2), f(s),…， 
了 (4) 是 它们 对 应 的 预期 输出 结果 。 若 44, 1s，…, 4, 之 间 满 足 关 系 7 时 ,函数 输出 / (4)， 
f(t2)，…，f(z,) 之 间 满 足 关系 rf, 即 :ras t,t) 和 rf) f(12), 0, f(1,))。 
显然 ,如 果 P 是 正确 的 ,即使 预期 输出 不 知道 ,测试 输出 PCn), P(ts),…,P(i,) 之 间 应 该 
满足 关系 r 广 即 : r(a yz ,0)=rFCPGO) P(ts),…,P(z,)), 因 此 ,在 预期 输出 无 法 获 
得 或 难以 获得 的 情况 下 .通过 检验 输入 输出 之 间 的 关系 (xr,r/) 是 否 成 立 ,来 确定 软件 是 否 存 
在 问题 ,这 种 测试 方法 就 称 之 为 暗 变 测试 。 

利用 赔 变 测试 方法 测试 软件 时 ,起 初 给 定 的 测试 用 例 称 之 为 原始 测试 用 例 , 根 据 赔 变 关 系 
中 的 输入 关系 生成 的 测试 用 例 , 称 为 衍生 测试 用 例 。 赔 变 测 试 具 有 4 个 特点 : 为 了 检查 程序 
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的 运行 结果 是 否 正确 ,需要 为 程序 构造 虹 变 关系 ; 为 了 多 方面 验证 程序 正确 性 ,就 要 构造 多 个 
晓 变 关系 ; 晓 变 测试 的 原始 测试 用 例 一 般 根 据 一 定 的 测试 准则 产生 ,衍生 测试 用 例 根据 晓 变 
关系 中 的 输入 关系 产生 ; 旷 变 测试 一 般 与 其 他 测试 方法 结合 使 用 ,如 白 盒 测 试 . 黑 盒 测 试 等 。 

暗 变 测试 过 程 描 述 如 下 : 

(1) 根据 测试 标准 ,设计 一 组 测试 用 例 并 作为 源 测试 用 例 集 , 同 时 根据 待 测试 软件 设计 
一 组 赔 变 关系 (Metamorphic Relation) { MR=(R,R,)}。 

(2) 使 用 源 测试 用 例 来 测试 被 测 对 象 , 如 果 某 一 个 源 测试 用 例 :引起 了 异常 , 则 报告 测 
试 未 通过 。 

(3) 对 于 每 一 个 虹 变 关系 MR 二 (R,Rj) ,从 源 测试 用 例 , 根 据 关 系 R 生成 新 的 测试 
用 例 ; 四 用 > 测试 被 测 对 象 ; @ 如 果 被 测 对 象 异常 退出 ,报告 测试 未 通过 ; 否则 @ 如 果 被 
测 对 象 正常 结束 并 输出 六 ,使 用 关系 Rj 验证 ,如 果 Rj(Ca ,i ),… (ts)) 不 成 立 , 则 报告 
测试 未 通过 ; 如 果 没 有 错误 报告 , 则 认为 测试 通过 。 


4. 实例 


如 果 程 序 已 是 计算 三 角 正 弦 函 数值 sin(z) ,测试 计算 三 角形 正弦 函数 值 sin(z) 程 序 
P,z 可 以 取 36", 但 其 预期 值 sin(36?) 无 法 给 出 ,可 以 利用 三 角形 弦 函 数 的 性 质 
sin(180 一 z) = sin(z) ,计算 P(180 一 36) ,看 看 它 的 值 是 否 与 P(36") 相 等 。 如 果 不 相 等 ， 
很 明显 ,该 程序 存在 问题 。 往 往 通 过 一 两 个 性 质 还 不 能 保证 测试 的 充分 性 ,需要 尽 可 能 多 地 
测试 各 种 性 质 , 例 如 ,sin(90" 一 zx? 十 sin(z) 一 1 等 性 质 。 我 们 不 知道 sin(29") 的 预期 输出 
值 是 多 少 , 但 可 以 根据 关系 ; 4 十 ts 二 90" 过 sin(41)? 十 sin(1,)? 二 1, 产 生 衍生 测试 输入 61。 检 
查 程序 P 在 这 两 个 输入 P(4)、P(t;) 上 的 输出 是 否 满足 以 上 关系 P(1.)? 十 P(t,)? 二 1。 


5. 优 缺 点 


尽管 晓 变 测试 (基于 性 质 的 软件 测试 ) 可 以 有 效 地 测试 软件 ,但 由 于 软件 的 各 种 性 质 获 
得 对 测试 人 员 要 求 比较 高 ,而 且 根据 软件 性 质 设 计 具 体 的 测试 用 例 不 便于 自动 化 。 更 多 关 
于 基于 性 质 的 软件 测试 内 容 请 见 5. 11 节 。 


习题 5.2 
1. 旷 变 测试 主要 解决 软件 测试 中 的 什么 问题 ? 
2. 晓 变 测试 的 主要 步骤 是 什么 ? 


G3 基于 规格 说 明 的 软件 测试 (Specification Based 
Software Testing) 


在 软件 开发 的 每 个 阶段 都 会 产生 很 多 描述 性 文档 ,如 需求 分 析 、 软 件 规格 说 明和 设计 
等 ,这 些 文档 与 软件 的 实现 应 该 保持 高 度 的 一 致 , 即 软件 实现 要 与 设计 一 致 ,相应 地 还 要 与 
需求 规格 说 明和 用 户 需 求 一 致 。 因 此 ,软件 验证 和 确认 技术 既 要 保证 各 阶段 产品 的 质量 ,又 
要 保证 整个 过 程 的 质量 。 基 于 规格 说 明 的 测试 是 验证 软件 的 实现 与 规格 说 明 的 一 致 性 (如 
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图 5-3 所 示 )。 基 于 软件 规格 说 明生 成 测试 用 例 有 很 多 好 处 ,例如 ,可 以 尽早 地 在 软件 实现 
之 前 设计 测试 计划 及 测试 用 例 ,可 以 用 于 规格 说 明 的 推理 ,尽早 地 发 现 规格 说 明 、 设 计 和 实 
现 中 可 能 存在 的 问题 和 不 足 。 规 格 说 明定 义 了 软件 系统 最 基本 的 要 求 和 内 容 , 它 可 以 为 测 
试 提供 很 多 非常 有 价值 的 信息 ,所 以 由 此 生成 的 测试 用 例 更 接近 用 户 需 求 ,而 且 可 以 定义 测 
试 的 预期 输出 (如 图 5-4 所 示 ) 。 


测试 工具 


一 - 
2 在 具体 实现 测试 
基于 规格 说 图。 图 实现 过 各 中 执行 测试 


明 的 测试 


3 获得 结果 实现 一 少 = 结果 
实现 | a Es (通过 /失败 ) 
NN 
图 5-3 基于 规格 说 明 的 测试 图 5-4 基于 规格 说 明 的 测试 过 程 


基于 规格 说 明 的 测试 是 一 种 黑 盒 测试 技术 , 它 直接 面向 于 检查 软件 系统 是 否 得 到 正确 
的 实现 ,或 者 是 否 得 到 充分 完整 的 实现 ,因此 是 基于 实现 的 测试 ( 白 盒 测试 ) 的 一 种 补充 (如 
图 5-5 所 示 ) 。 


需求 说 明 分 析 系统 需求 说 明 用 户 选择 系统 测试 计划 
构 设计 Re Y 基于 规格 说 明 的 [一 一 (集成 测试 计划 一 -| 
体系 结构 设计 模块 接口 规格 说 明 测试 用 例 选择 集成 测试 计划 


算法 设计 模块 设 计 规格 说 明 ) 一 | 湖人 和 单元 测试 计划 ) 
实现 /转移 BE 模块 实现 。 ) 一 | 站 单元 测试 计划 ) 


有 预期 输出 的 |_ 1 
测试 执行 
图 5-5 软件 生命 周期 中 测试 用 例 的 设计 选择 过 程 


人 们 关于 各 种 形式 化 规格 说 明 , 如 Z 语 言 ,提出 了 一 些 自动 的 测试 用 例 生成 方法 ,但 对 
于 非 形式 化 的 规格 说 明 一 般 只 能 人 工 挑选 测试 用 例 , 并 产生 预期 输出 与 实际 执行 结果 进行 
比 对 。 


习题 5.3 
基于 规格 说 明 的 测试 有 哪些 优点 ? 
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64 基于 模型 的 软件 测试 (Model Based Testing) 


1. 概念 


在 很 多 学 科 , 人 们 都 用 模型 来 理解 和 描述 系统 ,从 生物 学 到 航空 领域 ,都 用 模型 来 理解 
或 设计 产品 。 在 软件 工程 领域 ,模型 也 是 人 们 常用 的 一 个 重要 的 形式 化 工具 。 

软件 模型 是 对 软件 行为 和 软件 结构 的 抽象 描述 ,软件 行为 可 以 用 系统 输入 序列 活动 .条 
件 ,输出 逻辑 或 者 数据 流 进行 描述 ,软件 结构 则 使 用 组 件 图 、 部 署 图 等 进行 描述 。 针 对 测试 任 
务 , 通 过 对 软件 功能 和 结构 进行 抽象 并 用 易于 理解 的 方式 进行 描述 ,获得 的 模型 就 是 对 被 测试 
软件 系统 精确 的 描述 ,可 以 用 于 软件 测试 。 一 般 对 软件 不 同行 为 要 用 不 同 模 型 进行 描述 , 例 
如 ,控制 流 图 、 数 据 流 图 表达 了 程序 和 代码 结构 间 的 行为 关系 ; 决策 表 和 状态 机 则 可 以 描述 软 
件 外 部 行为 。 基 于 模型 的 软件 测试 可 以 根据 软件 行为 模型 和 结构 模型 生成 测试 用 例 。 当 前 软 
件 规模 庞大 也 使 基于 程序 的 测试 十 分 困难 ,而 基于 模型 的 软件 测试 方法 不 仅 可 以 有 效 地 提高 
测试 效率 ,提高 测试 用 例 生成 的 自动 化 程度 ,进行 测试 失效 辨识 ,也 有 利于 评价 测试 结果 。 

基于 模型 的 软件 测试 方法 越 来 越 成 为 人 们 研究 的 一 个 热点 ,主要 有 3 个 原因 : 复杂 软件 
的 安全 性 等 质量 需求 越 来 越 高 ; 日 益 流行 的 一 些 新 型 软件 开发 方式 ,如 UML、MDA 等 ,这 些 
开发 方法 中 使 用 的 模型 可 以 直接 用 于 测试 ; 以 及 测试 驱动 的 开发 越 来 越 为 人 们 所 重视 。 

软件 测试 模型 包括 有 限 状 态 机 、UML、 文 法 等 模型 。 本 章 5. 25 节 一 5. 30 节 分 别 介绍 
6 种 不 同 的 基于 模型 的 软件 测试 方法 ,而 2. 2. 5 节 ( 状 态 转 换 测试 ) 和 2. 2. 6 节 ( 语 法 测试 ) 
也 都 属于 基于 模型 的 测试 。 


2:. 方法 


基于 模型 的 软件 测试 方法 可 以 分 成 以 下 几 个 步骤 : 

(1) 分 析 理 解 待 测试 软件 。 只 有 充分 地 分 析 理 解 待 测试 软件 , 才 有 可 能 构造 准确 的 测 
试 模型 ,不 仅 要 求 了 解 软 件 需求 规范 和 设计 文档 、 用 户 手 册 , 还 要 与 开发 人 员 进 行 交 流 。 更 
具体 的 工作 包括 : 识别 软件 系统 的 用 户 、 枚 举 每 个 用 户 的 输入 序列 ,研究 每 项 输入 的 可 能 取 
值 范围 ,包括 合法 值 .边界 值 ,非法 值 以 及 预期 输出 等 。 这 项 工作 往往 需要 工具 支持 。 

(2) 选择 合适 的 测试 模型 。 不 同 的 模型 适用 于 不 同类 型 软件 的 测试 ,因此 需要 根据 软 
件 特点 选择 模型 。 例 如 ,电话 交换 系统 多 使 用 状态 模型 ; 并 发 软件 系统 中 不 同 组 件 并 发 运 
行 用 状态 图 建 模 ; 马尔 可 夫 链 可 以 对 软件 进行 失效 统计 分 析 。 模 型 的 选择 还 依赖 于 软件 系 
统 的 工作 特点 ,例如 ,测试 长 期 运行 软件 系统 可 以 使 用 状态 机 模型 。 只 有 充分 理解 模型 和 软 
件 系统 ,才能 选择 合适 的 模型 对 软件 进行 测试 。 以 状态 机 为 例 ,自动 机 理论 可 以 对 状态 机 进 
行 分 类 ,说 明 不 同 的 状态 机 可 以 表达 什么 语言 ,从 而 可 以 根据 应 用 程序 的 功能 和 特点 ,选择 
不 同 的 状态 机 模型 。 由 于 根据 有 限 状 态 机 产生 测试 数据 相当 于 遍历 有 向 图 ,因此 图 论 算法 
可 以 指导 产生 测试 用 例 。 基 于 模型 的 软件 测试 对 测试 人 员 的 知识 结构 和 技术 水 平 提出 了 一 
定 要 求 , 如 果 一 个 开发 组 织 使 用 模型 完成 需求 分 析 和 系统 设计 ,开展 基于 模型 的 软件 测试 就 
比较 容易 。 因 为 根据 系统 分 析 和 设计 的 模型 ,往往 可 以 直接 应 用 基于 模型 的 软件 测试 技术 ， 
还 可 以 根据 测试 的 进展 不 断 地 调整 模型 或 模型 的 细节 ,并 有 利于 在 开发 过 程 早 期 进行 测试 
规划 。 另 外 ,还 可 以 根据 开发 组 织 使 用 的 测试 工具 选择 特定 的 模型 。 

(3) 构造 测试 模型 。 以 基于 状态 机 模型 的 测试 为 例 说 明 如 何 构造 测试 模型 。 首 先 要 抽 
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象 出 软件 系统 状态 ,状态 抽象 一 般 要 根据 输入 及 输出 条 件 进 行 。 一 般 包括 以 下 过 程 : 生成 
一 个 输入 序列 并 说 明 每 个 输入 的 适用 条 件 , 称 作 输 入 约束 ,例如 ,电话 未 摘 机 时 才 允 许 有 摘 
机 动作 发 生 。 对 每 个 输入 要 说 明 产 生 不 同 响应 的 上 下 文 环境 , 称 作 响应 约束 ,例如 ,电话 摘 
机 时 ,如果 当 前 状态 为 振 铃 , 则 进行 通话 ; 否则 ,为 拨号 音 。 根 据 输入 序列 ,输入 约束 和 响应 
约束 构造 相应 状态 机 模型 。 

(4) 生成 和 执行 测试 用 例 。 测 试用 例 的 自动 生成 依赖 于 测试 所 使 用 的 模型 。 以 有 限 状 
态 机 模型 为 例 , 被 遍历 路 径 中 弧 的 标记 构成 的 序列 就 是 测试 用 例 在 构造 满足 测试 准则 的 路 
径 时 ,必须 考虑 约束 条 件 ,如 路 径 长 度 限 制 。 统 计 测试 还 要 考虑 迁移 概率 ,生成 了 满足 特定 
的 测试 充分 性 准则 的 测试 例 集合 后 ,就 可 以 执行 测试 用 例 。 以 状态 机 模型 为 例 , 首 先 要 写 出 
仿真 该 软件 系统 的 每 个 不 同 外 界 输入 产生 的 脚本 , 称 为 仿真 脚本 ,每 个 仿真 脚本 对 应 模型 中 
一 个 不 同 的 迁移 。 然 后 把 测试 用 例 集合 翻译 为 测试 脚本 ,也 可 以 用 测试 生成 器 通过 遍历 状 
态 机 的 迁移 直接 产生 测试 脚本 ,测试 用 例 的 执行 就 是 测试 脚本 的 执行 过 程 。 脚 本 是 可 以 重 
复 利用 的 资源 ,维护 测试 脚本 也 是 测试 工作 的 一 部 分 。 

(5) 收集 测试 结果 进行 分 析 。 基 于 模型 的 软件 测试 方法 并 没有 解决 测试 失效 辨识 
(COracle) 问 题 ,仍然 要 人 工 检查 输出 是 否 正确 。 但 是 通过 状态 验证 可 以 部 分 解决 测试 失 
效 辨识 问题 ,状态 是 内 部 数据 的 抽象 ,比较 容易 验证 。 另 外 与 传统 测试 相 比 ,基于 模型 的 
软件 测试 的 优势 之 一 就 是 可 以 根据 测试 结果 ,分 析 软 件 的 其 他 质量 因素 ,如 可 靠 性 等 。 


3. 优 缺 点 


基于 模型 的 软件 测试 可 以 大 大 提高 测试 自动 化 水 平 ,也 可 以 部 分 解决 测试 失效 辨识 问 
题 ,可 以 进行 测试 结果 分 析 , 有 利于 测试 过 程 的 重用 ,并 可 以 应 用 成 熟 的 理论 和 技术 获得 比 
较 完善 的 分 析 结 果 。 现 代 软 件 工程 强调 增 量 和 和 迭代 的 开发 过 程 ,例如 ,采用 面向 对 象 开发 技 
术 , 提 高 软件 开发 质量 和 加 快 软件 开发 速度 ,由 于 面向 对 象 软件 系统 的 规范 多 数 使 用 模型 表 
达 , 这 些 模 型 中 包含 了 大 量 可 以 用 于 软件 测试 的 信息 ,因此 ,基于 模型 的 软件 测试 可 以 把 软 
件 测试 工作 提前 到 开发 过 程 早期 ,如 进行 测试 工作 的 早期 规划 和 设计 。 

基于 模型 的 软件 测试 存在 以 下 缺点 : 测试 人 员 需 要 具备 一 定 的 理论 基础 ,如 状态 机 理 
论 和 随机 过 程 的 知识 ,还 要 掌握 相关 工具 使 用 方法 ; 需要 一 定 的 前 期 投入 ,如 模型 的 选择 、 
软件 功能 划分 、 模 型 构造 等 , 有 时 无 法 克服 模型 的 固有 缺陷 ,如 状态 爆炸 即 状态 空间 迅速 增 
长 直至 无 法 控制 ,这 对 检验 、 评 审 和 维护 模型 都 提出 了 要 求 , 也 直接 影响 了 测试 自动 化 。 状 
态 爆炸 问题 一 般 通 过 抽象 和 排除 方法 , 减 小 测试 规模 和 降低 测试 难度 来 解决 。 


习题 5.4 
1. 有 哪些 模型 可 以 用 来 做 基于 模型 的 软件 测试 ? 
2. 基于 模型 的 软件 测试 具有 哪些 优 缺 点 ? 


65 基于 错误 的 软件 测试 (Fault Based Testing) 


基于 软件 的 系统 越 来 越 多 地 为 人 们 提供 一 些 非常 关键 的 服务 ,例如 ,在 航空 、 医 疗 和 工 
业 控 制 等 领域 的 安全 关键 性 软件 .电话 和 网 络 等 领域 的 基础 设施 关键 性 软件 以 及 电子 商务 
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等 。 由 于 这 些 软件 系统 的 复杂 性 ,软件 系统 中 可 能 在 多 个 方面 存在 一 些 潜在 的 错误 ,尽管 软 
件 系统 一 般 都 是 按照 正常 和 预期 的 行为 方式 构建 的 。 基 于 错误 的 软件 测试 认为 软件 中 可 能 
存在 或 包含 一 些 错误 或 异常 ,该 方法 目标 是 证 实 软件 中 是 否 存在 事先 描述 的 错误 。 


1. 概念 


基于 错误 的 软件 测试 是 一 种 有 效 的 软件 测试 方法 ,该 方法 针对 待 测试 软件 中 可 能 存在 
的 某 种 软件 错误 ,设计 相应 的 测试 用 例 , 当 运行 这 组 测试 用 例 时 ,如 果 没 有 发 现 错误 , 则 认为 
该 软件 中 不 存在 这 类 错误 。 在 传统 的 软件 测试 中 ,如 果 一 个 测试 用 例 在 运行 过 程 中 没有 发 
现任 何 错误 , 便 认为 这 个 测试 用 例 是 无 用 的 。 但 在 基于 错误 的 软件 测试 中 ,测试 用 例 的 正确 
执行 可 以 帮助 我 们 确信 在 软件 中 不 存在 某 类 错误 。 

变异 测试 可 以 认为 是 一 种 特殊 的 基于 错误 的 软件 测试 方法 , 它 按照 一 定 机 制 ,通过 植 入 
错误 的 方式 ,产生 源 程 序 的 很 多 变异 体 ,然后 执行 一 组 在 源 程 序 上 已 经 通过 的 测试 用 例 , 如 
果 这 组 测试 用 例 可 以 发 现 所 有 变异 体 中 植 入 的 错误 , 则 认为 该 组 测试 用 例 的 测试 能 力 是 充 
分 的 ,否则 ,要 增加 一 些 测试 用 例 , 直 至 发 现 所 有 植 入 的 错误 。 在 这 个 过 程 中 ,对 于 源 程 序 的 
测试 看 起 来 只 是 一 个 副产品 ,变异 测试 主要 用 于 评估 已 有 测试 用 例 的 测试 能 力 是 否 充分 。 
更 多 关于 变异 测试 的 内 容 请 见 5. 9 节 。 


2. 方法 


基于 错误 的 软件 测试 方法 首先 要 充分 利用 软件 的 规格 说 明 , 用 来 描述 软件 的 各 种 形式 
化 模型 和 技术 ,研究 该 软件 系统 的 各 种 不 同 视角 的 视图 和 不 同 粒度 的 抽象 ,利用 故障 树 分 析 
等 技术 推测 软件 中 可 能 存在 的 软件 故障 ,然后 ,根据 这 些 故障 的 特点 精心 设计 一 组 测试 用 
例 ,运行 软件 ,验证 软件 是 否 存在 预料 中 的 故障 。 


习题 5.5 
基于 错误 的 软件 测试 有 哪 两 种 形式 ? 


6.6 基于 搜索 的 软件 测试 (Search Based Testing) 


1. 概念 


基于 搜索 的 软件 测试 是 一 种 利用 元 启发 式 搜索 技术 自动 生成 测试 数据 的 测试 方法 ,可 
以 进行 结构 测试 (如 覆盖 某 些 特定 的 结构 元 素 ) ,功能 测试 (如 测试 某 些 特定 的 功能 ) 、 灰 盒 性 
质 测 试 ( 如 安全 性 检测 ) 、 非 功能 性 测试 (如 检测 最 坏 执行 时 间 )。 元 启发 式 搜索 技术 是 一 个 
高 层次 框架 , 它 利 用 一 些 启 发 式 规则 ,在 合理 的 时 间 成 本 内 为 复杂 的 组 合 问 题 求解 ,该 框架 
包括 扑 山 法 、 模 拟 退 火 方法 、 遗 传 算法 、 粒 子 群 方法 、 蚁 群 算法 等 基于 不 同 启 发 式 规则 的 算 
法 。 传 统 的 测试 用 例 生成 方法 有 手工 生成 和 自动 生成 ,都 受到 软件 规模 和 复杂 性 等 多 方面 
因素 的 制约 。 手 工 生成 测试 用 例 由 测试 人 员 负 责 , 这 项 工作 很 困难 ,属于 劳动 密集 型 ,要 耗 
费 大 量 时 间 且 容易 出 错 。 因 此 测试 用 例 的 自动 生成 非常 有 必要 ,但 单纯 的 穷 举 所 有 测试 用 
例 是 不 可 行 的 ,随机 的 方法 不 可 能 对 软件 进行 一 些 深层 次 的 测试 。 当 然 ,根本 原因 在 于 : 测 
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试用 例 生成 问题 是 一 种 不 可 判定 问题 。 基 于 搜索 的 软件 测试 作为 一 种 测试 用 例 自 动 生成 方 
法 , 它 提供 了 一 种 有 效 解决 方案 ,可 以 有 效 克服 原 有 的 自动 生成 方法 的 不 足 。 


2. 目标 


利用 启发 式 搜索 技术 解决 的 问题 一 般 都 是 NP-complete 或 者 NP-hard 问题 ,或 者 虽然 
这 种 问题 理论 上 存在 多 项 式 时 间 求 解 方法 ,但 实践 上 不 实用 。 


3. 方法 


基于 搜索 的 软件 测试 不 仅仅 是 一 个 算法 , 它 也 是 一 种 针对 特定 问题 求解 的 策略 。 对 于 
测试 用 例 生成 , 它 要 先 将 测试 充分 性 准则 转换 为 目标 函数 ,利用 目标 函数 对 搜索 到 的 可 行 解 
进行 评估 ,并 与 搜索 目标 进行 对 比 ,从 而 将 搜索 导向 搜索 空间 中 一 个 有 价值 的 区 域 。 


4. 实例 


以 三 角形 分 类 程序 为 例 ( 如 图 5-6 所 示 ) ,如 果 采 用 随机 测试 ,一 些小 概率 路 径 就 很 难 执 
到 ,例如 ,该 例 中 等 边 三 角形 的 情况 就 很 难 达到 。 因 此 在 生成 测试 用 例 时 ,非常 有 必要 进 
导向 性 的 搜索 。 

TOFETT 


Node 
四 int tri_typelint a, int b, int c) 
{ 


行 
行 


int type; 
if (a > b) 
2-4 { intt=aia=bib=ti } 
5 if (a > c) 
G8 { intt=aa=c c=t; } 
9 if (b > c) 
10-12 { intt=b;b=c;c=t; } 
13 if (a+b <= c) 
{ 
14 type = NOT_A_TRIANGLE; 
else 
{ 
15 type = SCALENE; 
16 if (a == b && b == c) 
{ 
17 type = EQUILATERAL; 
} 
18 else if (a ==b1lb==c) 
b 
19 type = ISOSCELES; 
} 
} 
C return type; 


图 5-6 三 角形 分 类 程序 及 控制 流 图 
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Miller 和 Spooner 最 早 将 程序 的 实际 执行 结果 与 一 个 搜索 技术 相 结合 ,他 们 的 方法 已 
被 广泛 使 用 。 该 方法 首先 从 程序 中 选择 一 条 路 径 ,形成 一 个 只 包含 该 条 路 径 的 程序 版 本 ,其 
中 的 分 支 语句 用 路 径 约束 条 件 满足 程度 c=0 或 c>0 或 c>0 蔡 代 ,这 里 的 c 是 对 执行 相应 
路 径 的 条 件 接近 程度 的 一 个 估计 。 以 三 角形 分 类 程序 为 例 ,执行 路径 <s*,1,5,9,10,11,12， 
13,14,e 盖 ,对 应 该 路 径 的 直线 程序 如 下 : 


Int tri— type(int a, int b, int c) 

{int type; 

(cu = (b-a))> =0; 

(c= (c-a))>=0; 

(c=(c-b))>0; 

t=b; b=c; c=t; 

(c=(c- (a+b)))> =0; 

Type = NOT_A_TRIANGLE; 

’ 

利用 这 些 约束 可 以 构造 一 个 适应 值 函 数 /的 值 提供 了 所 有 约束 条 件 被 满足 情况 的 
一 个 估计 : f 如 果 是 负 值 ,表明 有 一 个 或 多 个 约束 未 被 满足 ; 如 果 所 有 约束 条 件 被 满足 了 ， 
了 应 该 是 正 值 。 利 用 求 最 大 值 方法 寻找 输入 a、b、c, 使 得 / 的 值 越 来 越 接 近 于 0, 最 后 成 为 
正 值 。 

Korel 扩展 了 以 上 工作 ,利用 程序 插 桩 方法 代替 产生 直线 程序 的 方法 。 为 了 执行 某 条 
指定 路 径 ,程序 一 开始 执行 一 些 任意 输入 。 在 执行 过 程 中 ,如 果 执行 了 一 条 非 指 定 路 径 ,该 
条 路 径 与 指定 路 径 有 偏差 ,就 利用 目标 函数 ,调用 局 部 搜索 替换 相应 分 支 。 目 标 函 数 描述 了 
谓词 与 真 值 之 间 的 接近 程度 ,目标 函数 值 反 映 了 执行 路 径 与 指定 路 径 之 间 的 距离 , 亦 称 为 分 
支 距 离 。 

以 上 面 三 角形 分 类 程序 执行 路 径 二 s,1,5,9,10,11,12,13,14,e 记 为 例 , 如 果 程 序 执行 
了 输入 (a 二 10, 5 二 20, c 二 30) ,程序 成 功 地 通过 了 结 点 1 和 5 的 错误 分 支 ,但 在 结 点 9 却 没 
有 能 按 预期 通过 正确 分 支 。 在 结 点 9 调用 局 部 搜索 ,改变 程序 输入 使 得 程序 执行 正确 分 支 。 
一 般 情况 下 ,如 果 分 支 谓 词 是 a op 6, 这 里 w、 /是 算术 表达 式 ,op 是 关系 运算 符 , 相 应 的 目 
标 函 数 是 f rel 0, 表 5-3 给 出 了 谓词 表达 式 与 目标 函数 之 间 的 关系 。 当 谓词 取 正 确 分 支 时 ， 
目标 函数 取 负 值 ; 反之 , 取 正 值 。 因 此 要 执行 谓词 的 正确 分 支 ,需要 对 目标 函数 求 最 小 值 。 
例如 ,在 结 点 9, 针对 输入 (a 二 10, 5 二 20, c= 二 30) ,f= 二 c 一 6 二 10。 源 程序 必须 进行 插 桩 ,这 
样 目标 函数 才 可 以 进行 计算 ,例如 ,if (eval_obj(9,b,c)) {…} ,其 中 程序 中 函数 eval_obj 报 
告 在 结 点 9 时 的 分 支 距离 。 


表 5-3 谓词 表达 式 的 目标 函数 


谓词 表达 式 目标 函数 了 关系 (reD 谓词 表达 式 目标 函数 了 关系 (reD 


a>b b—a < a<b ab < 
aa 二 0 0 一 a < a=b abs(a—b) 过 
a<=b a—b ~ aAb —abs(a—b) < 


根据 目标 函数 对 程序 输入 进行 局 部 搜索 的 方法 也 称 为 变量 蔡 换 ,依次 改变 每 个 变量 的 
值 , 保 持 其 他 变量 值 不 变 。 变 量 操作 的 第 一 个 阶段 称 为 探索 阶段 ,通过 增加 或 减少 变量 初始 
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值 探索 变量 邻 域 。 如 果 某 个 方向 的 改变 可 以 提高 目标 函数 值 , 就 可 以 得 到 一 个 模式 ,从 而 进 
入 模式 阶段 ,在 这 个 阶段 ,可 以 根据 这 个 模式 进行 更 大 的 改变 ,继续 进行 一 系列 相似 的 改变 ， 
直到 相对 该 变量 的 目标 函数 最 小 值 被 找到 为 止 。 然 后 ,再 对 下 一 个 变量 进行 探索 。 

在 图 5-6 所 示 的 例子 中 ,程序 执行 过 程 中 在 结 点 9 偏离 预期 路 径 , 改 变 变 量 a 不 影响 目 
标 函 数 ,因此 首先 选择 5, 减少 4b 会 使 目标 函数 值 更 差 , 这 就 需要 增加 b 的 值 , 直 到 "之 c。 假 
设 5 二 31, 这 时 新 输入 向 量 (a 二 10, 5 二 31, c 王 30) 可 以 实现 在 结 点 9 按照 预期 路 径 执行 ,但 
在 结 点 13 偏离 。 然 后 再 次 调用 局 部 搜索 ,这 次 在 调整 输入 变量 时 需要 维持 前 面 的 执行 路 
径 。 新 的 目标 函数 是 (ae 十 0 一 c, 减 少 2 会 违反 已 有 的 路 径 约束 ,我 们 发 现 增加 2 可 以 改善 
目标 函数 。 最 后 得 到 (a 二 10, 5 二 40, c 一 30) ,从 而 完整 路 径 得 到 执行 。 

局 部 搜索 的 效果 依赖 于 初始 搜索 的 结果 ,在 图 5-7 所 示例 子 中 如 果 初 始 输入 选择 的 是 
(a 二 10, 5 二 10, c 二 10) ,控制 流 直 接 进 入 最 后 一 个 结 点 ,然而 变量 c 不 能 变 成 小 于 0, 否 则 ， 
前 面 路 径 执行 的 条 件 就 会 被 违反 ,在 这 种 情况 下 ,局 部 搜索 就 失败 了 。 


void nested_example(int a, int b, int c) 


// target 


图 5-7 局 部 搜索 失效 的 例子 


启发 式 搜索 方法 可 能 进入 一 个 根本 无 法 提高 目标 函数 值 的 变量 值 域 ,这 样 就 会 很 多 无 
效 的 搜索 和 浪费 ,例如 ,在 图 5-6 中 的 结 点 1 上 改变 变量 e 的 取 值 就 不 会 产生 任何 效果 。 为 
了 提高 搜索 效率 ,人 们 提出 利用 一 些 来 自 程序 的 附加 信息 ,特别 是 那些 影响 当前 分 支 结 点 的 
变量 信息 。 例 如 ,在 图 5-6 中 的 结 点 5 ,搜索 变 量 c 比 搜索 变量 a 和 6 更 好 ,因为 改变 变量 a 
和 2 可 能 改变 已 经 成 功 通过 结 点 1 的 路 径 条 件 。 


习题 5.6 
基于 搜索 的 软件 测试 主要 特点 是 什么 ? 


€.3 统计 测试 (Statistics Testing) 


1. 概念 


统计 测试 是 一 种 根据 定义 好 的 概率 分 布 来 随机 选择 测试 用 例 的 软件 测试 方法 , 它 的 有 
效 性 来 自 获 得 这 种 定义 好 的 概率 分 布 ,这 种 定义 好 的 概率 分 布 侧重 于 对 应 软件 中 故障 分 布 
概率 。 不 同 的 概率 分 布 对 应 不 同 的 测试 方法 ,例如 ,在 软件 的 输入 域 中 按照 均匀 分 布 的 概率 
选择 测试 输入 的 测试 方法 ,是 随机 测试 ; 如 果 按 照 人 们 对 软件 各 项 功能 的 使 用 概率 来 选择 
测试 输入 ,就 叫 操作 剖面 测试 ( 见 5. 8 节 )。 从 这 里 可 以 看 到 ,随机 测试 是 一 种 特殊 的 统计 测 
试 方法 ,其 给 定 的 概率 分 布 是 均匀 概率 。 由 于 人 们 认为 具有 揭 错 能 力 的 测试 输入 不 可 能 是 
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均匀 分 布 在 输入 空间 的 ,因此 人 们 并 不 认为 按照 均匀 分 布 概率 选择 测试 输入 的 随机 测试 方 
法 是 一 种 非常 有 效 的 测试 方法 。 测 试用 例 的 选择 必须 结合 待 测试 软件 的 模型 .功能 和 结构 
等 信息 。 

统计 测试 具有 下 列 两 个 重要 参数 : 

(1) 测试 剖面 。 即 测试 用 例 概 率 分 布 ,测试 用 例 根 据 这 个 分 布 进行 随机 选择 。 

(2) 测试 规模 。 即 测试 用 例 数量 ,决定 生成 多 少 测试 用 例 (测试 输入 )。 

这 两 个 参数 一 般 情况 下 由 相应 待 测试 软件 的 功能 和 结构 测试 准则 确定 。 


2. 目标 


统计 测试 在 选择 测试 用 例 时 充分 结合 了 软件 功能 和 结构 信息 ,以 确保 在 按照 一 定 的 分 
布 抽样 选择 测试 用 例 时 , 尽 可 能 多 地 执行 每 个 功能 和 结构 元 素 。 不 仅 可 以 提高 软件 测试 故 
障 检测 能 力 ,同时 统计 测试 的 结果 还 可 以 为 软件 可 靠 性 估计 提供 很 好 的 支持 。 


3. 方法 


设 C 是 待 测试 软件 中 一 个 黑 盒 或 白 盒 测 试 充 分 性 准则 对 应 的 覆盖 元 素 集 ,@ 是 待 测试 
软件 输入 域 的 一 个 概率 分 布 ,任何 一 个 覆盖 元 素 cE C 对 应 该 输入 分 布 @ 有 一 个 被 某 些 输 
入 执行 的 概率 p。， 其 中 最 小 的 概率 值 为 ,2 一 minP. 的 大 小 依赖 于 不 同 的 待 测试 软件 和 

盖 元 素 集 ,但 p 越 大越 好 ,因为 这 意味 着 所 有 获 盖 元 素 都 有 很 好 的 机 会 被 执行 。 

当 使 用 概率 方法 生成 测试 用 例 时 ,C 中 每 个 覆盖 元 素 c 被 执行 的 次 数 是 一 个 随机 变量 。 
有 两 个 因素 影响 c 被 执行 的 次 数 , 一 个 是 输入 概率 分 布 B, 另 一 个 是 测试 规模 N 。 

输入 概率 分 布 B 必须 能 够 允许 增加 相应 的 概率 ,使 得 那些 C 中 最 小 可 能 执行 元 素 得 到 
执行 。 可 以 有 两 种 方法 得 到 适当 的 测试 输入 概率 分 布 ,一 种 是 分 析 方 法 , 另 一 种 是 实践 方 
法 。 分 析 方 法 将 覆盖 元 素 被 激活 的 条 件 表示 为 测试 输入 的 函数 , 即 覆 盖 元 素 出 现 的 概率 是 
输入 概率 的 函数 ,从 而 最 大 化 最 少 可 能 覆盖 元 素 的 出 现 频率 (具体 过 程 如 图 5-8 和 图 5-9 所 示 
的 实例 )。 实 践 方法 需要 在 软件 中 插 桩 ,以 收集 各 个 蓝 盖 元 素 的 执行 次 数 ,一 开始 采用 初始 概 
率 分 布 产 生 测试 用 例 ( 可 以 是 均匀 分 布 ) ,然后 逐步 细 化 ,直到 每 个 覆盖 元 素 出 现 频率 足够 高 。 

测试 规模 N 必须 足够 大 ,使 得 那些 最 少 可 能 元 素 在 相应 的 测试 输入 分 布下 多 次 被 执 
行 。 与 测试 准则 C 相关 的 测试 质量 提供 了 一 个 评估 测试 用 例 集 的 理论 框架 , 它 的 定义 
如 下 

定义 4 一 个 测试 充分 准则 C 的 覆盖 概率 是 gN ,如 果 该 测试 充分 准则 对 应 的 覆盖 元 素 
集 C 中 每 个 元 素 在 N 次 随机 输入 执行 过 程 中 最 小 的 执行 概率 是 gN 。gN 称 之 为 与 测试 准 
则 C 相关 的 测试 质量 。 

p: 是 每 一 个 覆盖 元 素 cEC 的 执行 概率 ,p 二 minP。 是 下 界 , 测 试 质量 gN 和 测试 用 例 
规模 NN 可 以 用 这 样 一 个 公式 连接 起 来 : (1 一 记 )> 一 1 一 9N, 这 个 公式 的 结果 是 平均 每 个 履 
盖 元 素 都 要 被 执行 几 次 。 更 确切 地 说 ,这 个 公式 建立 了 测试 质量 gN 与 最 少 可 能 元 素 期 望 
执行 次 数 之 间 的 关系 : n 宇 一 ln(1 一 gN)。 给 定 测试 质量 gN ,相应 需要 的 最 小 测试 用 例 集 可 
以 用 以 下 公式 计算 : 

N=log(1—gN)/log(1—p) (1) 
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根据 公式 (1) ,依据 测试 准则 设计 统计 测试 用 例 集 的 方法 分 以 下 两 步 ,其 中 第 一 步 很 
关键 : 

(1) 寻找 输入 分 布 ,使 得 C 中 每 个 元 素 尽快 被 执行 ,这 样 可 以 减少 测试 用 例 集 的 规模 ; 
或 等 价 地 使 得 输入 分 布 中 p 的 值 尽 可 能 高 。 

(2) 评估 可 以 实现 相应 测试 质量 gN 的 测试 用 例 集 规模 N ,从 (1) 中 可 以 得 到 zp 的 值 ， 
然后 利用 公式 (1) 计 算 可 得 。 

由 于 测试 准则 对 应 的 覆盖 元 素 与 实际 故障 之 间 没 有 非常 完美 的 联系 ,值得 注意 的 是 , 测 
试 准 则 并 不 影响 测试 数据 的 随机 生成 , 它 只 是 作为 定义 测试 输入 域 和 测试 规模 的 一 个 向 导 ， 
不 需要 预先 选择 一 个 输入 数据 子 集 。 概 率 方法 的 有 效 性 依赖 于 一 个 简单 的 假设 : 测试 准则 
提供 的 信息 可 以 产生 一 个 强化 软件 错误 概率 的 测试 概率 分 布 。 在 随机 测试 数据 与 揭 错 能 力 
之 间 有 一 个 直接 联系 : 从 公式 (1) 可 知 ,如 果 一 个 错误 在 每 次 执行 过 程 中 出 现 的 概率 不 低 于 
,那么 该 错误 在 N 次 随机 测试 过 程 中 被 发 现 的 概率 不 低 于 gN 。 


4. 原理 


测试 准则 充分 利用 待 测试 软件 自身 信息 作为 测试 用 例 选 择 指南 ,这 些 信 息 来 自 软件 开 
发 过 程 ,或 者 是 结构 信息 ,或 者 是 功能 信息 ,无论 哪 种 软件 信息 ,测试 准则 都 对 应 一 个 需要 执 
行 的 元 素 集 (或 叫 覆 盖 元 素 集 ) ,这 里 用 C 表示 一 个 测试 准则 的 同时 ,表示 该 测试 准则 对 应 
的 覆盖 元 素 集 ,C 中 包含 有 限 个 需要 运行 的 元 素 。 例 如 ,分 支 覆 盖 准 则 中 包含 了 所 有 可 执行 
的 边 , 即 C=={ 程 序 中 所 有 可 执行 边 } 。 

给 定 一 个 测试 准则 C, 通 常 的 做 法 是 依据 一 个 确定 性 方法 产生 一 个 测试 用 例 集 : 测试 
人 员 产 生 一 个 先 验 的 N 个 测试 用 例 组 成 的 集合 ,使 得 C i 个 覆盖 元 素 至 少 被 执行 一 
次 ,通常 要 最 小 化 这 个 测试 用 例 集 ,一般 只 保证 C 中 每 一 盖 元 素 只 执行 一 次 。 然 而 ,来 
自 测 试 准 则 的 一 个 尖锐 的 问题 是 : 测试 站 则 与 软件 钳 让 之 问 并 没有 完 类 的 对 应 关系 ,不 丰 
在 软件 设计 错误 的 准确 模型 。 测 试 准 则 中 的 每 一 个 覆盖 元 素 被 一 次 或 少数 几 次 执行 ,并 不 
能 保证 对 应 的 测试 用 例 集 具有 很 高 的 揭 错 能 力 。 从 这 个 角度 看 ,任何 确定 性 测试 方法 的 有 
效 性 更 取决 于 特定 输入 的 选择 ,而 不 是 测试 准则 。 

为 了 改进 当前 软件 测试 方法 ,可 以 有 下 列 两 个 不 同 的 研究 方向 : 

(1) 寻找 更 有 针对 性 的 测试 准则 ,对 于 任何 含有 故障 的 软件 ,无 论 怎样 选择 测试 用 例 ， 
该 测试 准则 对 应 的 著 盖 元 素 只 要 执行 一 次 ,就 能 发 现 软件 中 隐藏 的 错误 。 

(2) 处 理 当 前 测试 准则 与 错误 之 间 关 联 中 存在 的 问题 ,通过 多 次 执行 测试 准则 对 应 的 
覆盖 元 素 的 方法 进行 补偿 。 

第 一 种 研究 方向 是 非常 艰巨 的 ,因为 这 种 针对 性 强 的 测试 准则 一 般 完全 依赖 于 残留 在 
软件 中 的 错误 ,这 些 错误 又 因 具 体 的 待 测试 软件 的 不 同 而 不 同 , 这 些 信 息 在 测试 之 前 是 无 法 
知道 的 。 例 如 ,当前 结构 测试 准则 中 最 严格 的 路 径 覆 盖 准 则 就 不 是 一 种 针对 性 强 的 测试 准 
则 。 检 查 出 的 错误 非常 微妙 地 依赖 于 执行 给 定 路 径 的 测试 用 例 中 很 小 的 一 个 子 集 , 而 且 所 
有 路 径 都 执行 一 次 只 有 对 很 简单 的 程序 是 可 行 的 ,任何 更 细 化 的 准则 应 该 都 不 现实 。 

第 二 个 方向 由 于 需要 手工 选择 很 多 测试 用 例 ,应 该 很 乏味 。 因 此 需要 自动 生成 测试 用 
例 。 统 计 测试 因此 而 产生 ,统计 测试 依据 一 定 的 测试 准则 ,结合 相应 的 覆盖 元 素 信息 ,随机 
生成 一 个 规模 较 大 的 测试 用 例 集 。 
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在 随机 测试 中 ,由 于 没有 关于 错误 分 布 和 软件 结构 的 任何 信息 ,因此 无 法 判断 它 的 任何 
分 布 , 例 如 ,操作 前 面 ( 即 系统 投入 使 用 时 ,输入 向 量 的 分 布 ) 或 者 均匀 分 布 , 是 否 是 接近 最 
优 ,因此 这 意味 着 随机 测试 在 检测 软件 故障 过 程 的 盲目 性 和 低 效 性 。 
白 盒 测 试 的 有 效 性 取决 于 具体 软件 特征 和 覆盖 准则 的 选择 ,甚至 不 少 研究 发 现 很 多 情 
况 下 ,结构 测试 不 比 随机 测试 好 ,尽管 如 此 ,结构 测试 还 是 很 多 正式 的 软件 测试 中 必须 的 一 
个 重要 组 成 部 分 。 

统计 测试 克服 了 单纯 的 随机 测试 、 白 盒 测试 或 黑 盒 测试 的 不 足 , 充 分 考虑 了 软件 的 结构 
和 功能 信息 ,将 它们 有 机 地 结合 起 来 。 统 计 测 试 和 随机 测试 一 样 也 是 随机 地 抽样 测试 用 例 ， 
但 不 同 的 是 统计 测试 按照 一 定 的 概率 分 布 来 选择 测试 用 例 , 这 个 概率 分 布 满足 结构 或 功能 
测试 的 充分 性 准则 (结构 或 功能 的 充分 性 准则 在 结构 或 功能 测试 中 被 用 来 生成 相应 的 测试 
用 例 ,而 在 统计 测试 被 用 来 生成 测试 用 例 的 概率 分 布 ) 。 

统计 测试 可 以 看 作 是 随机 测试 的 扩展 , 它 利 用 功能 或 结构 信息 获得 概率 分 布 ,其 意图 就 
是 使 产生 的 测试 用 例 可 以 依据 结构 和 功能 等 信息 合理 分 布 ,从 而 测试 效果 要 比 同样 规模 的 
随机 测试 更 有 针对 性 和 有 效 性 。 

统计 测试 也 可 看 作 是 结构 或 功能 测试 的 扩展 , 它 依照 一 定 的 概率 分 布 生 成 测试 用 例 , 测 
试 准则 对 应 的 覆盖 元 素 可 以 被 多 个 测试 输入 执行 ,这 比 单纯 的 结构 或 功能 测试 仅仅 使 用 单 
个 测试 执行 每 个 覆盖 元 素 更 好 ,单纯 的 结构 或 功能 测试 被 认为 是 确定 的 ,统计 测试 具有 随机 
性 ,因为 它 是 依据 概率 分 布 随机 生成 测试 用 例 。 


5. 实例 


考虑 图 5-8 中 函数 simpleFunc, 函数 参数 是 唯一 的 测试 输入 , 且 输入 域 是 D={(a,O)E 
Z* : 1<a50, 1b<20)。 如 果 采 用 随机 测试 ,测试 输入 参数 a 和 2 是 独立 地 在 各 自 的 输 
入 域 中 随机 抽取 的 ,因此 当 a 在 [1,50] 中 任意 取 值 时 ,图 5-8 中 第 4 条 语句 ia 所 =5) 取 假 
分 支 的 可 能 性 是 取 真 分 支 的 可 能 性 9 倍 。 这 种 不 平衡 性 意味 着 要 至 少 生成 一 个 输入 检测 真 
分 支 上 潜在 的 错误 时 ,随机 测试 会 产生 更 多 不 必要 的 执行 假 分 支 的 输入 。 在 此 例 中 ,随机 测 
试 产生 的 测试 输入 只 有 在 假 分 支 的 错误 可 能 性 是 真 分 支 错误 可 能 性 9 倍 以 上 时 才 是 有 效 
的 。 结 构 化 测试 ( 白 盒 测试 ) 选 择 测 试 数据 执行 软件 结构 元 素 , 例 如 simpleFunc 中 ,选择 
{(9,2),(4,6),(5,19),(7,18)} 分 别 覆盖 图 5-9 中 的 c、 
cascz cs ,虽然 这 个 测试 用 例 集 可 以 实现 路 径 柳 盖 , 但 不 一 
定 可 以 有 效 地 检测 错误 。 例 如 ,图 5-8 第 6 行 实现 丢掉 绝 
对 值 : > 一 0 一 19 时 , 现 有 测试 用 例 就 不 能 发 现 该 错误 。 


1 /rlcsacs50,1 «be 204/ 
2 int simpleFunclint a, int b) { 
3 int Tr; 

4 if (ac=5) { 

5 if (b>=18} 
6 

7 

8 


2. 94X10- if 1<a<5,1<6<17 r = abs(b-19); 
1 
1.67X10-: if 1<a<5,18<6<20 i 
f(a.b)= . 9 ] else { 
1.85X10™? if 6<a<50,1<6<3 ho i 
3.27X10- if 6<a<50,4<6b<20 中 a a 


图 5-9 中 函数 simpleFunc 的 四 个 分 支 cy csvcavcs, 每 上 r = 104b; 
个 分 支 被 执行 的 概率 分 布 是 0.25; 可 以 计算 出 每 个 输入 对 攻 。 Jewwm 5 
的 概率 分 布 /(a,5)。 例 如 ,函数 /(a,5) 的 第 一 行 ,对 应 分 上 
支 cs， cs 的 定义 域 D. = 二 (1a 二 5,1<6<17) ,其 中 包含 ”图 5-8 函数 simpleFunc 的 代码 
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了 5X17=85 个 输入 对 ,分 支 cs 的 执行 概率 是 0. 25, 所 以 每 个 输入 对 的 执行 概率 是 
0.25 广 85 二 2.94X10“，。 依 据 概率 分 布 /(a,5), 可 以 生成 统计 测试 测试 用 例 集 对 函数 
simpleFunc 进行 测试 。 


int SimpleFunc(int a,int b) 


(ib>=18) ] ( igb<=3) ] 


(r=abs(b-19;; ]( r=b; ] ( rabs(b-2); ]( =10+b; ] 


图 5-9 ”函数 simpleFunc 的 控制 流 图 
6. 优 缺 点 


统计 测试 将 随机 测试 和 结构 或 功能 测试 方法 结合 起 来 ,利用 软件 功能 和 结构 信息 产生 
的 概率 分 布 随机 选择 测试 输入 ,可 以 有 效 提高 错误 检测 能 力 。 一 方面 它 克服 随机 测试 几乎 
不 考虑 待 测 软件 任何 信息 的 盲目 性 , 另 一 方面 又 克服 了 功能 和 结构 测试 方法 的 相对 确定 性 ， 
统计 测试 在 没有 精确 错误 模型 的 前 提 下 是 一 种 非常 实用 的 软件 故障 检测 方法 。 因 此 统计 测 
试 可 以 实现 功能 或 结构 测试 ,同时 也 是 一 种 随机 测试 方法 。 

统计 测试 的 不 足 在 于 它 的 有 效 性 受到 测试 输入 概率 分 布 的 影响 ,而 一 个 合理 的 概率 分 
布 的 获得 具有 一 定 的 难度 。 而 且 统计 测试 需要 执行 大 量 的 测试 用 例 , 其 测试 成 本 要 远 高 于 
一 般 的 功能 和 结构 测试 。 


习题 5.7 
统计 测试 方法 具有 什么 特点 ? 
[5.8 基于 操作 剖面 的 测试 (Operational Profile Based Testing ) 
基于 操作 剖面 的 测试 是 一 种 统计 测试 方法 , 它 按照 人 们 对 软件 各 项 功能 的 使 用 概率 来 
选择 测试 用 例 。 


1. 概念 


软件 操作 剖面 (Software Operational Profile, SOP) 是 一 个 软件 的 操作 (功能 ) 的 集合 ， 
且 每 个 操作 对 应 一 个 出 现 概率 。 用 EE 表示 操作 集合 .P 概率 函数 ,对 于 操作 集合 中 任何 操 
作 元 素 e,eEE,P(e) 表 示 该 操作 出 现 概率 或 使 用 频率 , 它 的 值 一 般 是 人 工 统计 的 或 通过 估 
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计 得 到 的 。 利 用 操作 剖面 的 信息 进行 软件 测试 的 方法 , 称 之 为 基于 操作 剖面 的 测试 。 
2. 目标 


在 测试 过 程 中 首先 找 出 出 现 频率 高 的 错误 (在 使 用 频率 高 的 操作 或 功能 中 包含 的 错误 ， 
其 出 现 频率 也 高 ), 即 基本 上 按照 错误 出 现 频率 高 低 的 顺序 去 分 配 测试 资源 ,尽早 发 现 错误 。 


3. 方法 


软件 的 操作 剖面 是 软件 如 何 被 使 用 的 一 个 定量 描述 ,因此 它 是 对 软件 进行 准确 和 充分 
测试 的 一 个 前 提 条 件 , 是 软件 测试 的 一 个 向 导 ,特别 是 在 资源 受 限 的 条 件 下 ,利用 操作 剖面 
可 以 保证 对 最 常用 的 操作 投入 更 多 的 测试 资源 ,从 而 实施 科学 有 效 的 测试 。 


4. 优 缺 点 


操作 剖面 的 获取 需要 一 定 的 成 本 ,而 且 获 得 的 操作 剖面 不 一 定 准确 ,这 在 一 定 程度 上 降 
低 了 基于 操作 剖面 的 软件 测试 方法 的 有 效 性 。 


5. 研究 现状 
研究 利用 操作 剖面 分 配 测试 用 例 ,进行 测试 用 例 约 简 、 软 件 质量 及 可 靠 性 估计 等 。 


习题 5.8 
基于 操作 剖面 的 测试 有 什么 优 缺 点 ? 


6 变异 测试 (Mutation Testing) 


1. 概念 


变异 测试 通过 在 程序 中 植 入 一 些 程序 员 容 易 犯 的 错误 ,或 利用 相关 的 启发 式 方法 植 入 
一 些 错误 ,这 些 错误 都 是 通过 对 原来 的 程序 做 一 些 句 法 上 的 修改 ,例如 ,把 (i<0) 改 为 (is0)， 
从 而 形成 一 组 新 的 程序 , 称 之 为 变异 体 , 通 过 运行 针对 原 有 程序 的 测试 用 例 集 ,如 果 这 些 原 
来 的 测试 用 例 能 够 发 现 变异 体 中 错误 , 称 之 为 杀 死 变 异体 ,否则 称 之 为 变异 体 存活 。 最 后 
通过 分 析 被 杀 死 的 变异 体 数量 和 存活 的 变异 体 数量 ,来 推测 软件 程序 中 可 能 仍然 潜在 的 
错误 数量 ,评估 针对 原 有 程序 的 测试 用 例 集 的 测试 充分 性 程度 。 如 果 一 个 测试 用 例 集 能 
杀 死 所 有 植 人 错误 的 变异 体 ,那么 这 个 测试 用 例 集 就 有 可 能 有 能 力 检测 出 所 有 可 能 潜在 
的 错误 。 

2. 目标 

变异 测试 是 一 种 基于 错误 的 软件 测试 方法 ,通过 变异 测试 可 以 得 到 变异 充分 性 得 分 ,这 
个 变异 充分 性 得 分 一 方面 可 以 作为 软件 质量 评估 的 依据 , 另 一 方面 ,可 以 作为 测试 用 例 集 测 
试 充分 性 和 有 效 性 的 度量 (或 者 说 错误 检测 能 力 的 度量 ) 。 通 过 变异 测试 可 以 帮助 设计 产生 
充分 的 测试 用 例 , 有 效 地 检测 软件 中 潜在 的 错误 。 
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3. 原理 


为 了 说 明 变异 测试 的 原理 ,这 里 考虑 一 个 例子 ,计算 一 个 桶 中 玻璃 球 的 数目 。 在 一 个 很 
大 的 桶 中 装着 很 多 大 小 和 重量 都 一 样 的 玻璃 球 , 现 在 要 估算 桶 中 玻璃 球 的 数目 。 要 求 不 能 
使 用 数 球 的 方法 或 者 称 球 的 方法 ,只 能 利用 手 上 现 有 的 100 个 大 小 和 重量 都 与 桶 中 彩 球 都 
一 样 ,而 颜色 不 一 样 的 黑 球 。 科 学 的 估算 彩 球 个 数 的 方法 是 首先 将 100 个 黑 球 放 入 桶 中 , 尽 
量 将 这 些 球 混合 均匀 ,然后 从 桶 中 随机 抓 取 100 个 球 ,统计 黑 球 的 个 数 ,这 样 桶 中 彩 球 的 


个 数 N 可 以 通过 计算 公式 科 5 一 一 得 到 。 例 如 ,在 随机 抓 取 到 的 100 个 彩 球 中 有 黑 球 


n 
10 个 ,由 此 可 以 估计 桶 中 原来 有 彩 球 N= 二 900 个 。 

现在 我 们 把 一 个 程序 P 看 成 一 个 桶 中 , 设 已 经 设计 的 测试 用 例 集 工 对 其 进行 了 充分 测 
试 ,未 能 发 现 新 的 错误 ,但 其 中 仍然 可 能 潜在 很 多 错误 ,这 些 可 能 包含 的 错误 可 以 看 成 是 其 
中 放置 的 玻璃 球 ,通过 分 别 在 程序 P 的 100 个 拷贝 中 植 入 100 个 错误 ,这 样 就 形成 了 100 个 
变异 体 ,对 这 100 个 变异 体 运行 测试 用 例 集 T, 如 果 能 在 其 中 20 个 变异 体 中 发 现 错误 ,相似 
地 就 可 以 估算 出 程序 P 中 包含 的 潜在 错误 大 约 是 400 个 。 

在 估计 桶 中 玻璃 球 数量 的 例子 中 ,新 加 入 的 100 个 黑 球 需要 满足 一 个 重要 条 件 , 即 这 些 
黑 球 与 桶 中 其 他 球 不 同 之 处 只 是 颜色 ,而 大 小 和 重量 必须 相同 。 这 些 差别 必须 不 能 影响 人 
们 下 一 轮 选 球 , 例 如 ,如 果 这 些 新 加 入 的 黑 球 是 金属 球 ,那么 就 会 明显 影响 人 们 随机 选 球 
的 结果 ,这 样 利 用 这 种 机 制 估 计 桶 中 玻璃 球 数 量 就 不 科学 了 。 同 样 ,在 软件 程序 中 植 入 
错误 也 要 具有 一 定 的 限制 ,否则 ,通过 植 入 错误 的 方式 来 评估 软件 中 可 能 存在 的 错误 是 
不 科学 的 。 

由 于 程序 中 潜在 的 错误 数量 是 不 可 知 的 ,而 且 程 序 的 变异 体 数量 庞大 (一 般 是 程序 规模 
的 平方 ), 人 们 不 可 能 测试 所 有 的 变异 体 。 在 实际 的 变异 测试 中 ,只 测试 很 小 一 部 分 变异 体 ， 
利用 这 很 小 部 分 的 变异 体 来 模拟 全 部 可 能 的 错误 。 变 异 测试 的 科学 性 基于 以 下 两 点 假设 : 
第 一 点 是 假设 程序 员 是 很 成 熟 的 (Competition Programmer Hypothesis), 写 出 来 的 程序 基 
本 上 接近 正确 的 程序 ,程序 中 存在 的 错误 只 是 一 些 很 小 的 错误 ,只 要 通过 简单 的 句法 修改 就 
可 以 改正 。 因 此 ,基于 这 个 假设 ,变异 测试 中 的 变异 体 都 是 对 源 程序 经 过 简单 的 句法 修改 
得 到 的 ; 第 二 点 假设 是 程序 中 错误 的 耦合 效应 (Coupling Effect), 即 程序 中 复杂 错误 是 由 
简单 错误 耦合 形成 的 ,如 果 一 个 简单 错误 是 由 正确 程序 经 过 一 步 简 单 句 法 修改 形成 的 ， 
那么 复杂 错误 往往 是 正确 程序 经 过 多 步 简单 句法 修改 形成 的 。 因 此 ,如 果 一 个 测试 用 例 
能 够 检测 出 一 个 简单 错误 ,那么 ,一 般 也 极 有 可 能 检测 出 由 多 个 简单 错误 耦合 形成 的 复 


杂 错 误 。 


4. 方法 


图 5-10 描述 了 变异 测试 的 一 般 过 程 ,一 开始 原始 程序 已 ,针对 P 按照 一 定 的 测试 标准 
或 要 求 设计 了 一 个 测试 用 例 集 T, 当 对 P 运行 这 个 测试 用 例 集 T, 如 果 发 现 错误 , 则 修改 错 
误 , 并 在 此 运行 测试 用 例 集 T 中 的 测试 用 例 , 以 确保 修改 的 正确 性 和 没有 引入 新 的 错误 。 
知道 运行 工 不 再 发 现 己 中 的 错误 。 然 后 ,通过 对 忆 的 每 个 拷贝 逐个 进行 微小 的 修改 ,产生 
变异 体 P'( 例 如 ,将 P 中 某 个 “与 "操作 符 换 成 已 中 * 或 ?操作 符 ) 。 这 样 产生 一 组 变异 体 。 
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变异 体 产生 规则 称 之 为 变异 操作 ,有 很 多 变异 操作 , 表 5-4 中 只 例 举 了 一 些 常 用 的 变异 
操作 。 


1 


原始 程序 P 


测试 用 例 集 7| 


修正 P 


新 测试 数据 
对 每 个 活 变异 体 户 
运行 了 
一 一 杀 死 所 有 变异 体 户 分 析 等 价 变异 体 Q| 
图 5-10 变异 测试 的 一 般 过 程 
表 5-4 常用 的 变异 操作 

变异 类 别 错误 模型 例 地 
常数 变异 不 正确 的 常数 x 一 x 十 1; 变异 为 : x 一 x 十 3 
运算 符 变 异 不 正确 的 运算 符 x 十 十 ; 变异 为 : 十 十 x;if(x 二 y) 变 异 为 : if(x 二 =y) 
语句 变异 语句 放置 错误 z 一 x 十 1; 变异 为 : break; 或 将 该 语句 删除 
变量 变异 变量 使 用 错误 z 二 x 十 1; 变异 为 ; z=y 十 1; 


针对 每 一 个 变异 体 已 运行 测试 用 例 集 工 ,如 果 和 运行 结果 与 相应 的 P 的 运行 结果 不 同 ， 
则 变异 体 被 杀 死 , 即 测试 用 例 集 工 可 以 发 现 P 中 植 入 的 错误 。 否 则 ,该 变异 体 存 活 了 下 来 。 
当 针 对 所 有 的 变异 体 运行 完 测试 用 例 集 工 之 后 ,如 果 没 有 发 现存 活 的 变异 体 , 则 变异 测试 
结束 ,可 以 认为 测试 用 例 集 T 具 有 和 较 好 的 测试 充分 性 。 否 则 ,通过 增加 测试 用 例 的 方式 改 
进 测试 用 例 集 了 ,使 其 能 够 杀 死 存活 下 来 的 变异 体 。 当 然 , 其 中 存在 一 些 等 价 的 变异 永远 都 
无 法 被 杀 死 ,这 已 经 成 为 变异 测试 中 的 一 个 难题 ,有 待 进一步 研究 。 最 后 ,我 们 可 以 从 变异 
测试 结果 中 得 到 变异 充分 性 得 分 ,是 被 杀 死 的 变异 体 个 数 与 所 有 非 等 价 变异 体 总 数 之 比 。 
变异 测试 的 一 个 目标 就 是 要 使 得 变异 充分 性 得 分 为 1, 这 样 就 使 得 测试 用 例 集 可 以 充分 检 
查 所 有 可 能 的 程序 错误 ,包括 植 人 的 错误 。 

由 于 程序 的 变异 体 很 多 ,对 每 一 个 变异 体 运行 测 试用 例 集 工 是 一 件 非常 耗 时 耗 力 的 事 
情 。 因 此 ,人 们 提出 两 种 方法 来 改进 变异 测试 过 程 : 一 个 称 为 弱 变 异 (Weak Mutation) ,该 
方法 在 针对 某 个 变异 体 运 行 测试 用 例 集 工时 ,任何 时 候 , 只 要 发 现 与 源 程序 P 结果 不 同 ,就 
认为 该 变异 体 被 杀 死 ,停止 执行 剩 下 的 测试 用 例 , 开 始 选择 下 一 个 变异 体重 新 执行 T; 另 一 
方法 称 为 抽样 变异 ,该 方法 首先 产生 出 所 有 可 能 的 变异 ,然后 每 次 从 众多 的 变异 操作 中 随机 
选择 一 个 产生 一 个 变异 体 , 执 行 测试 用 例 集 T。 可 以 根据 测试 需求 和 可 用 资源 状况 ,决定 抽 
样 变异 的 次 数 ,但 研究 表明 ,只 要 抽样 出 其 中 10% 以 上 的 变异 体 就 可 以 与 完全 执行 所 有 变 
异体 的 效果 相差 不 大 。 以 上 两 种 方法 可 以 结合 起 来 使 用 。 
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习题 5.9 
变异 测试 的 特点 是 什么 ? 


€.10 冒 烟 测试 (Smoke Testing) 


1. 概念 


冒 烟 测试 广泛 应 用 于 管道 修理 ,木质 乐器 修理 .电子 .计算 机 软件 开发 和 舞台 测试 等 领 
域 。 通 过 冒 烟 测试 检测 产品 在 通过 修理 之 后 或 首次 装配 之 后 不 会 导致 重大 或 灾难 性 的 后 
果 , 如 修理 后 的 管道 不 再 泄露 \ 乐 器 键盘 已 正确 安装 、 电 路 不 会 短路 、 软 件 不 会 崩溃 、 舞 台 可 
以 承受 更 大 压力 等 。 

Smoke Test 最 初 源 自 微软 以 及 很 多 大 的 软件 公司 “daily build and smoke test” 一 一 
即 每 天 自动 编译 及 Smoke Test, 这 里 的 Smoke Test 仅仅 是 一 个 简单 的 测试 ,看 看 我 们 编译 
好 的 产品 是 否 * 冒 烟 ?以 检查 每 天 编译 的 结果 是 否 成 功 。 


2. 目标 与 意义 


(1) 能 最 小 化 集成 风险 。 项 目 组 可 能 遇 到 的 一 个 很 大 的 风险 是 ,项 目 组 成 员 根据 不 
同 的 系统 功能 各 自 开 发 不 同 的 代码 ,但 是 当 这 些 代码 集成 为 一 个 系统 的 时 候 , 也 许 系 统 
完成 不 了 预期 的 功能 。 这 种 风险 的 发 生 取 决 于 项 目 中 的 这 种 不 兼容 性 多 和 久 才 被 发 现 ,由 
于 程序 界面 已 经 发 生 了 变化 ,或 者 系统 的 主要 部 分 已 经 被 重新 设计 和 重新 实现 了 ,相应 
的 排 错 工作 将 非常 困难 和 耗 时 。 极 端 情况 下 ,集成 的 错误 可 能 会 导致 项 目 被 取消 。 每 日 
构造 和 冒 烟 测试 可 以 使 这 种 集成 错误 变 得 非常 小 ,而 且 便于 解决 ,防止 了 很 多 集成 问题 
的 产生 。 

(2) 能 减 小 产品 低 质量 的 风险 。 这 种 风险 是 和 集成 不 成 功 、 集 成 出 错 相关 联 的 。 每 天 
对 集成 的 代码 做 一 些 少 量 的 冒 烟 测 试 , 即 可 杜绝 项 目 中 那些 基本 的 质量 问题 。 通 过 这 种 方 
式 , 使 系统 达到 一 种 周知 的 良好 状态 ,维护 这 样 的 系统 可 以 防止 系统 逐步 恶化 到 耗费 大 量 时 
间 排 查 质量 问题 的 地 步 。 

(3) 能 简单 化 错误 诊断 。 当 系统 每 天 都 进行 build 和 测试 时 ,系统 任何 一 天 发 生 的 错误 
都 能 够 变 得 十 分 精细 ,便于 排查 。 比 如 在 17 日 系统 还 运行 正常 ,18 日 就 出 错 了 ,那么 只 需 
要 检查 这 两 次 build 之 间 的 代码 变化 就 可 以 了 。 

(4) 能 极 大 地 鼓舞 项 目 组 的 士气 。 看 到 产品 的 不 断 成 长 ,能够 极 大 地 鼓舞 项 目 组 的 士 
气 , 有 时 甚至 不 管 这 个 产品 到 底 用 来 做 什么 。 开 发 人 员 可 能 会 为 系统 显示 了 一 个 矩形 而 感 
到 激动 。 通 过 每 日 构造 ,产品 每 天 进步 一 点 点 ,保证 项 目 士气 的 持续 高 涨 。 


习题 5.10 
什么 叫 冒 烟 测试 ? 它 的 主要 作用 是 什么 ? 
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6 基于 性 质 的 软件 测试 方法 (Property Based Testing) 


1. 概念 


从 理论 上 来 说 ,软件 测试 应 该 是 完全 的 。 所 谓 完全 , 指 的 是 所 用 的 测试 用 例 应 该 覆盖 所 
有 可 能 的 软件 输入 、 软 件 所 处 环境 的 各 种 变化 情况 (如 硬件 故障 ) 等 。 但 由 于 软件 的 行为 空 
间 和 输入 集 很 可 能 是 无 穷 大 的 ,即使 不 是 无 穷 的 ,也 有 可 能 大 到 无 法 在 有 限 的 时 间 内 完成 。 
实际 上 ,人 们 对 软件 的 某 些 部 分 的 行为 较为 感 兴趣 ,也 就 是 说 ,完全 ”的 测试 用 例 的 某 个子 
集 更 加 值得 测试 ,也 应 该 被 优先 测试 。 基 于 此 ,有 必要 对 软件 进行 选择 性 的 测试 。 

基于 性 质 的 软件 测试 是 一 种 测试 的 方法 论 , 用 以 解决 如 何 有 效 地 进行 选择 性 测试 的 问 
题 。 在 测试 前 ,会 选 定 一 个 或 几 个 性 质 , 在 测试 过 程 中 ,与 选 定性 质 无 关 的 软件 行为 将 被 忽 
略 , 从 而 达到 减少 测试 用 例 集合 大 小 的 ,降低 测试 的 时 间 、 人 力 成 本 开销 的 目的 。 被 选 定 的 
性 质 通常 是 软件 中 的 重要 或 关键 性 质 , 它 们 最 值得 被 测试 。 例 如 , 当 使 用 一 个 文本 编辑 软件 
时 ,人 们 常常 更 加 关注 输入 的 信息 的 安全 性 ,希望 当 出 现 忘 记 保存 .系统 崩溃 .计算 机 断 电 等 
突 发 情况 时 ,仍然 能 够 保证 已 键入 或 已 修改 的 信息 能 够 被 成 功 保存 下 来 ,这 个 时 候 ,软件 在 
自动 保存 .自动 恢复 等 方面 的 性 质 就 更 值得 测试 ; 相 比 之 下 ,其 他 一 些 功能 ,如 调整 文本 格 
式 、 页 面 布 局 等 或 许 没 那么 重要 : 它们 的 不 完善 会 给 用 户 带 来 不 便 , 但 至 少 不 会 出 现 灾难 性 
的 后 果 。 


2. 原理 


基于 性 质 的 测试 方法 是 一 种 一 致 性 测试 (Conformance Testing), 它 的 目的 在 于 确认 
(Validate) 而 不 是 证 明 (Verify) 软 件 符合 某 些 规约 。 正 式 的 证 明 也 许 需 要 建立 一 个 模型 ,并 
用 形式 化 的 方式 来 证 明 ; 或 者 , 它 需 要 穷尽 程序 执行 过 程 中 的 所 有 可 能 的 路 径 。 基 于 性 质 
的 测试 与 之 不 同 , 它 通常 假设 待 测 程序 满足 给 定性 质 ,围绕 着 给 定性 质 设计 测试 用 例 ,通过 
测试 来 观察 确认 待 测 程序 是 否 满足 给 定性 质 。 如 果 在 测试 过 程 中 给 定性 质 被 破坏 了 ,我 们 
就 可 以 认为 待 测 程序 不 满足 给 定性 质 ; 否则 ,在 足够 多 的 测试 用 例 被 用 于 测试 ,并 满足 一 定 
的 覆盖 度 要 求 ,我 们 可 以 认为 待 测 程序 符合 给 定性 质 。 注 意 程序 符合 给 定性 质 的 要 求 与 程 
序 没有 缺陷 是 不 同 的 ,一 个 有 缺陷 的 程序 可 能 没有 破坏 给 定性 质 。 一 个 发 现 了 软件 破坏 了 
既定 性 质 的 测试 应 该 是 成 功 的 测试 ,如果 没有 发 现 破坏 性 质 的 行为 ,并 且 测 试用 例 被 证 明 是 
完全 的 ,或 者 虽然 不 完全 但 是 满足 一 定 的 覆盖 度 要 求 ,那么 ,这 样 的 测试 也 应 该 是 成 功 的 。 


3. 方法 


在 基于 性 质 的 测试 里 , 选 定 的 性 质 往往 用 一 定 的 形式 表述 出 来 ,可 以 是 某 种 形式 化 的 语 
言 , 可 以 是 某 些 公式 ,甚至 可 以 是 自然 语言 一 一 只 要 它 可 以 在 测试 过 程 中 发 挥 指导 作用 。 一 
般 地 , 选 定 的 性 质 会 被 描述 成 一 些 规 约 (Specification) 的 集合 ,这 些 规约 表明 了 测试 人 员 期 
望 待 测 软件 的 行为 符合 的 特征 ,这 些 特征 可 能 仅仅 是 外 部 的 ,但 也 可 能 是 内 部 实现 相关 联 。 
性 质 的 规约 越 详 尽 越 正式 ,和 程序 的 实现 联系 越 紧 密 , 越 有 利于 有 效 指导 测试 过 程 。 理 想 情 
况 下 ,一 个 性 质 应 该 用 形式 化 的 规约 描述 ,这 样 无 论 是 测试 用 例 生 成 还 是 测试 结果 分 析 ,都 
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能 更 加 严谨 地 进行 ; 再 者 ,使 用 形式 化 的 规约 来 描述 性 质 有 利于 自动 化 程度 的 提高 。 然 而 ， 
很 多 情况 下 ,使 用 形式 化 的 描述 方法 会 遇 到 很 多 困难 ,如 不 够 灵活 、 可 用 的 形式 化 语言 表达 
能 力 不 够 强 、 可 读 性 差 \ 成 本 较 高 等 等 ,因此 如 何 有 效 地 描述 性 质 ( 包 括 形式 化 和 非 形式 化 ) 
仍然 是 研究 的 重点 。 

在 测试 中 ,性 质 主要 指导 以 下 几 个 方面 : 软件 的 哪些 部 分 应 该 被 测试 ; 设计 什么 样 的 
测试 用 例 ; 测试 到 什么 时 候 可 以 终止 ; 什么 样 的 测试 是 成 功 的 测试 。 基 于 性 质 的 测试 里 ， 
使 用 的 测试 用 例 应 该 紧密 围绕 着 给 定性 质 设计 生成 ,有 针对 性 地 对 给 定性 质 进行 详尽 的 测 
试 ,使 用 形式 化 的 规约 描述 的 性 质 有 可 能 自动 生成 测试 用 例 和 测试 预言 (Test Oracle) ,而 且 
能 够 生成 更 加 严谨 的 测试 用 例 和 预言 。 有 时 候 , 当 使 用 了 一 组 测试 用 例 进 行 测试 后 ,软件 的 
性 质 没有 被 破坏 ,但 是 进入 一 种 “危险 状态 ”, 即 在 继续 进行 测试 的 情况 下 有 可 能 出 现 破 坏 性 
质 的 行为 ,这 个 时 候 就 应 该 使 用 更 多 的 测试 用 例 , 以 期 能 够 要 么 确认 这 种 危险 状态 不 会 导致 
破坏 性 质 的 行为 ,要 么 发 现 破坏 性 质 的 行为 。 例 如 ,在 一 个 登录 (Log-in) 系 统 中 ,很 重要 的 
一 点 就 是 它 的 安全 性 , 即 不 能 提供 正确 的 ID 和 密码 的 用 户 是 不 允许 登录 的 。 假 设 系统 能 满 
足 这 一 点 ,但 是 系统 会 准确 地 提醒 用 户 无 法 登录 的 原因 是 ID 的 错误 还 是 密码 的 错误 ,抑或 
是 两 者 错误 ,是 否 提供 了 非法 用 户 获 取 合法 用 户 的 ID 和 密码 的 可 能 性 ,这 就 是 一 种 危险 状 
态 , 需 要 进一步 测试 。 

基于 性 质 的 测试 方法 可 以 是 黑 盒 的 ,也 可 以 是 结合 了 和 白 盒 和 黑 盒 的 。 它 可 以 在 代码 层 
面 用 来 测试 一 个 程序 ,也 可 以 在 更 高 层面 上 测试 一 个 复杂 系统 的 行为 。 复 杂 的 系统 通常 会 
作 某 种 程度 的 抽象 以 便于 测试 ,如 用 于 基于 模型 检测 的 测试 中 。 可 见 , 基 于 性 质 的 测试 不 仅 
仅 是 在 测试 的 某 个 阶段 使 用 ,而 是 可 以 在 很 多 阶段 使 用 。 从 理论 上 来 讲 , 基 于 性 质 的 思想 可 
以 贯穿 测试 的 整个 过 程 ,只 不 过 在 测试 难度 大 、 更 加 需要 选择 性 测试 的 测试 阶段 运用 这 种 方 
法 更 有 价值 。 


习题 5.11 


1. 简 述 基于 性 质 的 软件 测试 方法 的 特点 。 
2. 结合 个 人 实践 ,给 出 一 个 利用 程序 性 质 进 行 测试 的 具体 例子 。 


6i 极限 测试 (Extreme Testing) 


极限 编程 (XP) 是 一 种 相当 新 的 软件 开发 过 程 ,可 以 使 开发 人 员 快 速 地 产生 高 质量 的 代 
码 , 这 里 质量 是 代码 对 其 规格 说 明 的 满足 程度 。XP 重视 采取 简单 的 设计 、 在 开发 人 员 和 客 
户 之 间 建 立 联系 ,不 断 地 测试 代码 库 、 重 构 以 适应 规格 说 明 的 变更 ,以 及 寻求 用 户 的 反馈 。 
这 种 方法 适合 于 中 小 规模 的 软件 开发 ,这 些 软 件 的 规格 说 明 的 变更 非常 频繁 ,甚至 需要 接近 

XP 与 传统 的 开发 过 程 相 比 有 几 处 不 同 : 首先 , 它 避 免 了 大 型 项 目的 综合 症 , 即 在 开始 
编码 之 前 客户 与 编程 小 组 交流 、 设 计 软 件 的 每 个 细节 ,其 实 这 种 做 法 存在 重要 缺陷 , 因为 为 
了 反映 新 的 业务 准则 或 市 场 情 况 ,客户 的 规格 说 明和 需求 必须 进行 不 停 地 变更 ; 其 次 ,XP 
方法 可 以 避免 编写 不 重要 的 功能 ,将 精力 集中 在 必须 的 功能 之 上 ,有 助 于 在 短 时 间 内 开发 出 


第 5 章 ”特殊 的 软件 测试 技术 


高 质量 的 软件 ; 最 后 ,XP 方法 最 重要 的 不 同 之 处 是 将 精力 集中 在 测试 上 ,在 经 历 了 一 个 非 
常 全 面 的 设计 阶段 之 后 ,传统 的 软件 开发 模型 会 建议 首先 编码 ,然后 再 进行 测试 ,但 在 XP 
中 ,必须 首先 生成 单元 测试 用 例 ,然后 编写 代码 通过 测试 。 

XP 开发 模型 用 以 下 12 个 核心 实践 来 驱动 开发 过 程 : 

(1) 计划 与 需求 分 析 。 将 市 场 和 业务 开发 人 员 集中 起 来 ,共同 确认 每 个 软件 特征 的 最 
大 商业 价值 ; 以 使 用 场景 的 形式 重新 编写 每 个 重要 的 软件 特征 ; 程序 员 估计 完成 每 个 使 用 
场景 的 时 间 ; 客户 根据 估计 时 间 和 商业 价值 选择 软件 的 功能 特征 。 

(2) 小 规模 .递增 地 发 布 。 努 力 添加 细微 的 、 实 在 的 、 可 增值 的 特征 ,频繁 发 布 新 版 本 。 

(3) 系统 隐喻 。 编 程 小 组 确认 隐喻 ,便于 建立 命名 规则 和 程序 流程 。 

(4) 简要 设计 。 实 现 最 简单 的 设计 ,使 代码 通过 单元 测试 。 由 于 变更 不 断 发 生 , 因 此 不 
要 在 设计 上 花 太 多 时 间 ,只 是 不 停 地 实现 。 

(5) 连续 测试 。 在 编写 模块 之 前 就 生成 单元 测试 用 例 ; 模块 只 有 在 通过 单元 测试 之 后 

告 完 成 。 此 外 ,程序 只 有 在 通过 了 所 有 的 单元 测试 和 验收 测试 完成 之 后 才 算 结束 。 

(6) 重 构 。 清 理 和 调整 代码 库 。 单 元 测试 有 助 于 确保 在 此 过 程 中 不 破坏 程序 的 功能 ; 
应 在 任何 重 构 之 后 重新 进行 所 有 的 单元 测试 。 

(7) 结对 编程 。 两 位 程序 员 协 同 工 作 .在 同一 台 机 器 开发 代码 库 , 这 样 可 以 对 代码 库 进 
行 实 时 检查 ,能 极 大 地 提高 缺陷 的 发 现 率 和 纠正 率 。 

(8) 代码 的 集体 所 有 权 。 所 有 代码 归 全 体 程序 员 所 有 ,没有 哪 一 个 程序 员 只 致力 于 某 
一 个 代码 库 。 

(9) 持续 集成 。 每 天 在 变更 通过 单元 测试 之 后 将 其 集成 到 代码 库 。 

(10) 每 周 40 小 时 工作 。 不 允许 加 班 , 如 果 每 周全 力 工 作 40 小 时 ,就 不 需要 加 班 。 在 
重大 发 布 前 的 一 星期 除外 。 

(11) 客户 在 现场 。 开 发 人 员 和 编程 小 组 可 以 随时 接触 客户 ,这 样 可 以 快速 、 准 确 地 解 
决 问题 ,使 开发 过 程 不 至 于 中 断 。 

(12) 按 标准 编码 。 所 有 的 代码 看 上 去 必须 一 致 .设计 一 个 系统 隐喻 有 助 于 满足 该 
原则 。 

以 上 12 个 核心 实践 可 以 归纳 为 以 下 4 个 概念 : 

。 聆听 客户 和 其 他 程序 员 的 谈话 ; 
与 客户 合作 ,开发 应 用 程序 的 规格 说 明和 测试 用 例 ; 
结对 编程 ; 
。 测试 代码 库 。 


1. 概念 


先 创建 单元 (模块 ) 测 试 和 验收 测试 ,然后 再 创建 代码 库 , 这 种 形式 的 测试 就 叫 极限 测 
试 ,或 者 叫 测试 驱动 的 开发 。 

单元 测试 是 极限 测试 中 采用 的 主要 测试 方法 , 它 的 原则 是 : 所 有 代码 模块 在 编码 开始 
之 前 必须 设计 、 生 成 好 单元 测试 用 例 ,在 产品 发 布 前 须 通 过 单元 测试 。 这 种 首先 设计 单元 测 
试 的 做 法 是 XP 方法 的 亮点 ,可 以 迫使 开发 人 员 在 开始 编码 之 前 理解 规格 说 明 , 排 除 混淆 。 
单元 测试 的 测试 用 例 与 编写 的 软件 具有 一 样 的 价值 :应当 进行 很 好 的 保存 。 
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验收 测试 是 XP 方法 中 第 二 类 、 也 是 同等 重要 的 极限 测试 类 型 ,验收 测试 的 目的 是 判断 
应 用 程序 是 否 满足 如 功能 性 和 易 用 性 等 需求 。 在 设计 或 计划 阶段 ,由 开发 人 员 和 客户 来 设 
计 验 收 测试 。 验 收 测试 可 以 是 人 工 的 ,也 可 以 是 自动 化 的 ,发 现 的 错误 集中 提交 开发 小 组 ， 
开发 小 组 根据 错误 的 优先 级 修正 软件 ,然后 重新 进行 验收 测试 。 需 要 注意 的 是 ,程序 可 能 通 
过 单元 测试 ,但 不 一 定 能 通过 验收 测试 。 


2. 优点 


(1) 可 以 使 人 们 对 代码 满足 规格 说 明 具 有 信心 。 

(2) 在 开始 编码 前 ,就 展现 了 代码 的 最 终结 果 。 

(3) 更 好 地 理解 了 应 用 程序 的 规格 说 明和 需求 。 

(4) 可 以 先 实现 一 些 简单 的 设计 , 稍 后 再 放心 地 重 构 代 码 以 改善 程序 的 性 能 ， 而 无 须 
担心 破坏 应 用 程序 的 规格 说 明 。 


3. 实例 
开发 一 个 命令 行 的 应 用 程序 ,接受 一 个 正 整数 n(0 二 n 二 1000) ,判断 是 否 为 素数 。 如 
果 n 是 素数 ,程序 应 返回 信息 ,说 明 其 为 素数 ; 如 果 不是 素数 ,程序 也 返回 信息 ,说 明 其 不 


是 素数 ; 如 果 n 不 是 一 个 有 效 输入 ,程序 应 显示 一 条 帮助 信息 。 针 对 该 应 用 程序 的 极限 测 
试用 例如 表 5-5 所 示 。 


表 5-5 极限 测试 用 例 表 


用 例 编号 输 入 预期 输出 注 释 
1 n=3 nn 为 素数 对 有 效 素数 的 测试 
多 n=1000 不 是 对 边界 范围 内 的 测试 
3 n=0 不 是 对 不 为 素数 情况 的 测试 
4 n= 一 1 帮助 信息 对 低 于 下 边界 情况 的 测试 
5 n=1001 帮助 信息 对 高 于 上 边界 情况 的 测试 
6 两 个 输入 帮助 信息 对 输入 值 的 正确 个 数 的 测试 
7 7 一 “ap 帮助 信息 对 输入 为 整数 而 非 字符 类 型 的 测试 
8 nn 为 空格 帮助 信息 对 输入 值 为 空 时 的 测试 
习题 5.12 
简 述 极限 测试 的 概念 。 


€.13 模糊 测试 (Fuzzing Testing) 


1. 概念 


模糊 测试 是 一 种 通过 提供 非 预期 的 输入 并 监视 异常 结果 来 发 现 软件 故障 的 方法 ,模糊 
测试 一 般 是 一 个 自动 或 半自动 的 过 程 ,这 个 过 程 包 括 反复 操纵 目标 软件 并 为 其 提供 处 理 数 
据 。 模 糊 测试 中 生成 测试 输入 的 工具 称 为 模糊 器 ,所 有 的 模糊 器 可 分 为 两 大 类 : 基于 变异 
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的 模糊 器 ,这 种 模糊 器 对 已 有 数据 样本 应 用 变异 技术 创建 测试 用 例 ; 基于 生成 的 模糊 器 ,这 
种 模糊 器 通过 对 目标 协议 或 文件 格式 建 模 的 方法 从 头 开 始 生成 测试 用 例 。 


2. 目标 


模糊 测试 的 基本 思想 是 自动 产生 和 发 送 大 量 随机 的 或 经 过 变异 的 输入 值 给 软件 ,如 果 
发 生 失 效 或 异常 , 便 可 挖掘 出 软件 系统 存在 的 薄弱 环节 和 安全 漏洞 ,这 种 方法 已 经 发 展 成 为 
对 软件 质量 有 深远 影响 的 测试 技术 。 


3. 方法 


模糊 测试 方法 的 选择 依赖 不 同 的 因素 ,可 能 有 很 大 的 变化 ,没有 一 种 绝对 正确 的 模糊 测 
试 方法 。 模 糊 测 试 方法 的 选择 完全 取决 于 目标 应 用 程序 研究 者 的 技能 ,以 及 需要 测试 的 数 
据 所 采用 的 格式 。 然 而 ,无 论 要 对 什么 进行 测试 ,也 不 论 确定 选择 了 哪 种 方法 ,模糊 测试 总 
要 经 历 几 个 基本 阶段 : 

(1) 识别 目标 。 在 没有 考虑 清楚 目标 应 用 程序 的 情况 下 ,不 可 能 对 模糊 测试 工具 或 技 
术 做 出 选择 。 如 果 是 在 安全 审核 的 过 程 中 对 内 部 开发 的 应 用 程序 进行 模糊 测试 ,目标 应 用 
程序 的 选择 应 该 小 心 谨 慎 。 相 反 , 如 果 对 第 三 方 应 用 程序 进行 安全 漏洞 的 发 掘 研究 ,这 种 选 
择 就 有 一 定 的 灵活 性 。 在 识别 目标 应 用 程序 的 时 候 ,需要 考查 开发 商 过 去 被 发 现 的 安全 漏 
洞 的 相关 历史 。 这 可 以 通过 浏览 安全 漏洞 收集 站 点 来 完成 ,例如 ,securityfocus 或 secunia。 
一 个 开发 商 如 果 在 过 去 的 安全 漏洞 历史 记录 方面 表现 不 佳 ,那么 很 可 能 有 比较 差 的 编码 习 
惯 ,最 终 将 会 导致 更 多 的 安全 漏洞 被 进一步 发 现 。 选 择 了 目标 程序 之 后 ,还 必须 选择 应 用 程 
序 中 具体 的 目标 文件 或 库 。 如 果 需 要 选择 目标 文件 或 库 , 应 该 选择 那些 被 多 个 应 用 程序 共 
享 的 库 , 因 为 这 些 库 的 用 户 群 体 较 大 ,出 现 安全 漏洞 的 风险 也 相应 较 高 。 

(2) 识别 输入 。 几 乎 所 有 可 被 人 利用 的 漏洞 都 是 因为 应 用 程序 接受 了 用 户 的 输入 并 且 
在 处 理 输入 数据 时 没有 首先 清除 非法 数据 或 执行 确认 例 程 。 枚 举 输入 向 量 对 模糊 测试 的 成 
功 至 关 重 要 。 示 能 定位 可 能 的 输入 源 或 预期 的 输入 值 对 模糊 测试 将 产生 严重 的 限制 。 任 何 
从 客户 端 发 往 目标 应 用 程序 的 输入 都 应 该 被 认为 是 输入 向 量 。 这 些 输 入 包括 消息 头 、 文 件 
名 、 环 境 变量 等 ,所 有 这 些 输入 向 量 都 应 该 是 可 能 的 模糊 测试 变量 。 

(3) 生成 模糊 测试 数据 。 一 旦 识别 出 输入 向 量 , 模 糊 测试 就 可 以 生成 。 如 何 使 用 预先 
确定 的 值 ` 如 何 变异 已 有 的 数据 或 动态 生成 数据 ,这 些 决策 将 取决 于 目标 应 用 及 其 数据 格 
式 , 不 管 选择 了 哪 种 方法 ,这 个 过 程 应 该 引入 自动 化 。 

(4) 执行 模糊 测试 数据 。 这 一 步 ,模糊 测试 成 为 动词 ,执行 过 程 可 能 包括 发 送 数 据 包 给 
目标 应 用 程序 .打开 一 个 文件 或 发 起 一 个 目标 进程 。 同 样 ,这 个 过 程 的 自动 化 也 至 关 重 要 。 

(5) 监视 异常 。 在 模糊 测试 过 程 中 ,一 个 至 关 重 要 但 却 被 经 常 忽视 的 步骤 是 对 故障 或 
异常 的 监视 过 程 。 例 如 ,如 果 我 们 没有 办 法 确切 地 指出 是 哪 一 个 数据 包 引 起 崩溃 的 话 ,那么 
向 目标 Web 服务 器 发 送 10 000 个 模糊 数据 包 并 最 终 导致 服务 器 崩溃 便 是 一 次 无 用 的 努 
力 。 监 视 可 以 采取 多 种 形式 并 且 应 该 不 依赖 目标 应 用 程序 和 所 选择 的 模糊 测试 类 型 。 

(6) 确定 可 利用 性 。 一 旦 故障 被 识别 , 因 审 核 的 目标 不 同 ,需要 确定 所 发 现 的 Bug 是 否 
可 以 被 进一步 利用 。 这 是 一 个 典型 的 人 工 过 程 , 需 要 具备 安全 领域 的 专业 知识 ,因此 执行 这 
一 步 的 人 可 能 不 是 最 初 执行 模糊 测试 的 人 。 
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模糊 测试 可 以 与 其 他 测试 技术 结合 使 用 ,例如 ,在 符号 执行 和 约束 求解 过 程 中 使 用 模糊 
测试 技术 ,或 者 以 代码 覆盖 率 为 导向 ,进行 演化 的 模糊 测试 方法 。 


4. 优 缺 点 


一 方面 ,人 们 认为 应 用 模糊 测试 只 能 发 现 一 些 简单 的 错误 ,因为 软件 测试 问题 是 非常 复 
杂 的 ,模糊 测试 只 是 关注 其 中 人 们 感 兴趣 的 部 分 ,并 采用 简化 的 不 完全 测试 方法 。 而 且 模糊 
测试 的 代码 覆盖 率 一 般 都 很 低 , 例 如 ,如 果 输 入 包含 了 校 验 部 分 ,那么 在 模糊 测试 过 程 中 可 
能 执行 了 校 验 部 分 的 代码 。 代 码 覆 盖 率 经 常 被 用 来 估计 模糊 器 工作 的 效果 ,但 只 是 作为 模 
糊 器 质量 的 一 个 指导 性 的 指标 ,而 且 每 个 模糊 器 都 是 用 来 发 现 一 类 不 同 的 软件 故障 。 

男 一 方面 ,模糊 测试 发 现 的 故障 有 时 候 非常 严重 ,黑客 可 以 利用 这 些 发 现 的 漏洞 来 实现 
攻击 ,事实 上 ,模糊 测试 已 经 成 为 黑客 攻击 已 有 软件 的 常用 的 重要 方法 和 技术 。 模 糊 测 试 的 
输入 一 般 是 随机 产生 的 ,用 这 种 方式 产生 的 输入 很 难 覆盖 边界 值 ,这 可 能 是 模糊 测试 的 缺 
点 ,但 模糊 测试 强调 软件 的 安全 性 和 可 靠 性 , 它 经 常 能 发 现 一 些 出 乎 意料 的 软件 故障 ,这 些 
故障 是 测试 人 员 很 难 通过 测试 用 例 的 设计 来 发 现 的 。 


习题 5.13 
模糊 测试 的 特点 是 什么 ? 


6.14 自 适应 测试 (Adaptive Testing) 


自 适应 测试 也 称 为 软件 测试 的 控制 论 方法 。 
1. 概念 


软件 控制 论 是 探讨 软件 工程 理论 和 控制 理论 相互 渗透 的 交叉 理论 ,该 理论 通过 将 软件 
问题 归结 为 控制 问题 ,以 及 将 控制 问题 归结 为 软件 问题 ,研究 这 两 个 领域 的 互补 和 结合 ， 
而 达到 分 别 发 展 这 两 个 领域 的 作用 。 软 件 测试 的 控制 论 方法 是 软件 控制 论 的 重要 组 成 部 
分 , 它 把 软件 测试 的 问题 归结 为 控制 问题 ,被 测试 软件 当 作 被 控制 对 象 ,软件 测试 策略 当 作 
相应 的 控制 器 ,这 样 被 测试 软件 和 测试 策略 就 构成 一 个 闭环 反馈 控制 系统 。 通 过 控制 理论 
指导 软件 测试 过 程 ,从 而 希望 达到 科学 有 效 地 测试 软件 的 目的 。 


2. 目标 


软件 测试 的 控制 论 方法 , 即 适 应 性 软件 测试 ,可 以 利用 测试 过 程 中 的 历史 信息 指导 未 来 
的 测试 步骤 (如 测试 用 例 的 选择 ) ,利用 这 些 测试 信息 估计 被 测试 对 象 的 性 质 和 参数 ,根据 这 
些 参数 可 以 更 有 针对 性 地 选择 测试 用 例 , 实 现 给 定 目标 下 的 最 优 测试 (如 图 5-11 所 示 )。 既 
可 以 提高 软件 测试 效率 ,实现 以 最 小 代价 发 现 最 多 故障 ,又 可 以 提高 检测 性 能 的 稳定 性 , 提 
高 软件 可 靠 性 估计 的 精度 。 软 件 测试 的 完全 自动 化 和 效率 最 大 化 要 求 , 是 推动 软件 测试 控 
制 论 方法 发 展 的 重要 动力 。 
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测试 策略 控制 待 测试 软件 | 测试 结果 _ 
(控制 器 ) | 测试 用 例 (控制 对 象 ) 


图 5-11 软件 测试 作为 一 个 控制 问题 


3. 原理 


自 适 应 控制 系统 是 通过 在 线 实 时 了 解 被 控 对 象 ,不 断 调节 控制 器 ,使 系统 的 性 能 达到 技 
术 要 求 或 最 优 。 自 适应 系统 有 3 大 要 素 : 一 是 在 线 实时 地 了 解 对 象 ; 二 是 有 一 个 可 调 环节 ， 
三 是 使 系统 性 能 达到 要 求 或 最 优 。 自 适应 控制 可 以 分 为 直接 自 适应 控制 和 间接 自 适应 控 
制 。 在 间接 自 适 应 控制 中 ,被 控 对 象 的 参数 未 知 , 首 先 在 线 估计 对 象 参 数 ,利用 估计 值 对 控 
制 器 参数 进行 调整 使 系统 性 能 指标 达到 要 求 (如 图 5-12 所 示 ); 而 在 直接 自 适应 控制 中 ,不 
对 对 象 参数 进行 估计 ,直接 通过 调整 控制 器 参数 来 改进 系统 性 能 (如 图 5-11 所 示 ) 。 


控制 器 4r1 。 | 可 控 马 尔 可 夫 链 | Za 


| (测试 决策 ) (被 测 软件 ) | 
参数 估计 


图 5-12 自 适应 测试 系统 的 结构 框图 


自 适应 测试 的 理论 基础 是 以 自 适应 控制 系统 为 基础 , 即 可 控 马 尔 可 夫 链 。 以 软件 测试 
为 例 , 自 适应 测试 方法 把 被 测 软 件 当 作 控 制 对 象 ,利用 可 控 马 尔 可 夫 链 理论 设计 和 优化 软件 
测试 策略 ,并 把 测试 策略 作为 控制 器 和 被 测 软件 构成 一 个 闭环 反馈 系统 , 它 是 软件 测试 的 控 
制 论 方法 的 具体 实现 。 

因此 ,适应 性 软件 测试 对 应 于 软件 测试 过 程 中 的 适应 性 控制 ,意味 着 软件 测试 策略 应 该 
根据 测试 过 程 中 收集 到 的 测试 数据 以 及 人 们 对 待 测试 软件 的 理解 进行 在 线 调 整 。 与 路 径 测 
试 、 功 能 测试 等 传统 方法 不 同 的 是 : 适应 性 软件 测试 具有 明确 的 优化 目标 ,在 测试 的 过 程 中 
不 断根 据 先 验 知识 进行 目标 优化 ,而 传统 方法 一 般 都 不 具备 动态 优化 功能 。 


4. 方法 


自 适应 测试 方法 是 一 种 利用 反馈 和 自 适应 控制 原理 的 软件 测试 方法 ,如 图 5-13 所 示 。 
自 适 应 测试 策略 具有 两 个 反馈 环 : 第 一 个 反馈 环 包括 : 待 测试 软件 (控制 对 象 )、 测 试 历 史 
数据 库 矿 ,( 测 试用 例 和 相应 的 测试 结果 Z.+ ) 和 测试 策略 (控制 器 ) ,在 这 个 反馈 环 中 ,测试 
历史 数据 库 瓦 , 用 来 根据 测试 策略 (控制 器 ) 产 生 下 一 条 测试 数据 ,此 时 测试 策略 (控制 器 ) 
可 以 是 某 些 测试 数据 充分 性 准则 ,如 代码 覆盖 准则 路径 覆盖 准则 等 ; 第 二 个 反馈 环 包括 待 
测试 软件 (控制 对 象 )、\ 测 试 历史 数据 库 H,、 参 数 估计 和 测试 策略 (控制 器 ) ,在 这 个 反馈 环 
中 ,测试 历史 数据 库 有 H,( 测 试用 例 和 相应 的 测试 结果 Z.+:) 和 已 有 的 测试 策略 组 成 的 测试 历 
史 , 既 用 作 改进 和 产生 新 的 测试 策略 ,也 用 作 进 行 一 些 参数 估计 (包括 测试 用 例 集 的 检 错 能 
力 、 错 误 率 的 估计 ) ,例如 ,将 基于 均匀 分 布 的 随机 测试 改进 为 非 均匀 分 布 的 随机 测试 ,或 者 
将 数据 流 测试 修改 为 边界 值 测 试 等 ,主要 原因 是 在 测试 过 程 中 ,人 们 对 于 待 测试 软件 的 认识 
以 及 测试 效果 的 认 知 不 断 加 强 。 
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软件 测试 的 概念 与 方法 


[一 | 参数 估计 


了 
测试 策略 控制 4 。| 待 测试 软件 | 测试 结果 Zr 


(控制 器 ) 测试 用 例 “| (控制 对 象 ) 
1 


公测 试 历史 


图 5-13 更 具体 的 自 适应 测试 方法 图 


在 测试 过 程 中 ,包括 软件 可 靠 性 增长 测试 ,软件 变异 测试 和 软件 可 靠 性 评估 过 程 ,针对 
软件 模型 的 参数 未 知 , 需 通过 在 线 估 计 参 数 , 再 利用 估计 值 调整 控制 器 , 即 采用 间接 自 适应 
控制 方法 进行 软件 测试 ,形成 所 谓 的 软件 测试 的 自 适应 策略 。 其 中 ,根据 可 控 马 尔 可 夫 链 模 
型 ,一 些 常 用 参数 意义 如 下 : 


1， 在 :时刻 检测 到 软件 系统 中 缺陷 
Z0 = 表示 是 否 检 测 到 缺陷 ， 
0， 在 1 时刻 没 有 检测 到 软件 系统 1 中 缺陷 


N 为 软件 总 缺陷 数 ; 
Y==j;j 二 0,1,2,… ,NN;1 二 0,1,2,… 表 示 1 时 刻 被 测 软件 含有 j 个 缺陷 ; 
A, 是 测试 过 程 每 一 步 应 采取 的 决策 ; 
0; 是 第 i 种 决策 的 测试 决策 缺陷 检测 率 ; 
t 时 刻 采 取 策略 A, 的 代价 定义 为 Wy (A,) ,而 

wi), ifY,=j0 

Wy, (A, = i) = | 

0， ifY,=0 

由 控制 器 方程 ,在 软件 测试 过 程 中 ,每 一 步 应 该 选取 的 测试 决策 应 满足 : 
A, = arg min| 坊 2) 

如 果 被 测 软 件 参 数 N 和 90; 已 知 ,就 可 直接 根据 上 述 公 式 求 得 测试 决策 ,从 而 逐步 把 测 
试 进行 下 去 ,这 种 测试 成 为 最 优 测试 ; 而 由 于 实际 测试 中 ,被 测 软 件 参数 的 不 可 知性 ,这 就 
需要 利用 自 适 应 测试 ,在 每 步 测 试 中 通过 在 线 估 计 系 统 参 数 (N 和 0;) ,再 利用 估计 值 求 得 最 
优 测试 决策 ,逐步 把 测试 进行 下 去 ,直到 剔除 所 有 缺陷 。 随 机 测试 则 是 在 任意 一 步 测试 中 ， 
从 已 知 的 决策 集 {A,} 中 随机 选取 决策 ,这 样 选中 任何 一 个 决策 的 概率 都 是 均等 的 ,而 不 存 
在 最 优 决策 ,这 样 把 测试 进行 下 去 ,直到 剔除 所 有 的 缺陷 。 

可 控 马 尔 可 夫 链 由 五 元 素 模型 描述 : (S,A,{A(y)|yE S},Q,W), 其 中 各 元 素 的 含 
义 为 : S.A 分 别 是 系统 所 有 可 能 的 状态 所 组 成 的 状态 空间 集 和 决策 集 ; {A(y)|1y€ S} 是 
系统 状态 为 y 时 的 决策 ; Q(B|y,a)== Pr{iYn EBIY,==y,A,==a},BCS 表示 在 状态 
YY, 三 y 时 ,采用 决策 A,=a 转移 到 状态 Y,+1 的 概率 ; W 是 每 步 测 试 代价 。 该 模型 是 一 个 在 
1 二 0,1,2,… 时 刻 上 随机 可 控 的 系统 。 如 果 假 设 在 1 时 刻 系统 状态 为 Y, 二 y€E 5, 而 此 时 的 
决策 为 A, 二 a€ A(y) ,那么 将 会 有 以 下 事件 发 生 : 系统 在 转移 方程 Q 的 决定 下 ,以 代价 
Wy,(a) 转 移 到 Y,+1 状 态 。 一 旦 发 生 转 移 , 系 统 进入 新 的 状态 ,并 会 选择 新 的 决策 继续 循 
环 决策 过 程 。 

以 下 是 依据 可 控 马 尔 科 夫 链 模型 的 自 适应 测试 过 程 : 
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(1) 根据 可 控 马 尔 可 夫 链 模型 ,得 到 以 下 方程 : 


(3 min 
a 1<i<m 


表示 当 软 件 系统 缺陷 数 ( 状 态 ) 为 j 时 ,最 优 决 策 i( 即 控制 器 输出 ) 的 选取 应 该 使 得 
wj (站 /0: 最 小 ; 当 wj (站 =w(i) 时 ,最 优 控制 器 为 ; min| 志 <}. 

(2) 由 控制 器 方 程 ,在 软件 测试 过 程 中 ,第 7 步 选取 的 测试 决策 应 满足 : A, 二 arg min{v()} 
一 ww; 这 里 /二 1,2,… 

(3) 如 果 被 测 软件 参数 N 和 0; 已 知 ,就 可 直接 根据 上 述 公式 求 得 测试 决策 ,从 而 逐步 
把 测试 进行 下 去 。 

(4) 利用 自 适应 测试 ,在 第 1 步 测试 中 通过 求解 最 优化 问题 ; minD)|s 本 (x 一 


{> v0 中 = 
J0: 


一 | 


5), | ,在 线 估 计 系 统 参 数 (N 和 0;)。 


(5) 利用 估计 值 求 得 下 一 步 最 优 测试 决策 ,Aiti 二 arg minfvG)} 二 awi, 逐 步 把 测试 进 
行 下 去 ,直到 剔除 所 有 缺陷 。 

以 上 过 程 中 把 测试 用 例 或 测试 对 象 输入 域 划分 为 多 个 等 价 类 ,用 可 控 马 尔 可 夫 链 模型 
建 模 软件 测试 过 程 ,在 测试 过 程 中 不 断 把 历史 测试 信息 反馈 给 测试 过 程 ,使 得 随 着 测试 过 程 
的 进行 ,可 以 逐渐 了 解 被 测 对 象 的 性 质 和 测试 用 例 的 能 力 ,并 通过 自 适应 算法 调整 模型 参数 并 
确定 下 一 步 最 有 效 的 测试 用 例 等 价 类 ,在 该 等 价 类 中 选择 一 个 测试 用 例 作 为 被 测 对 象 的 输入 。 

图 5-14 描述 了 待 测试 软件 的 状态 转换 行为 ,其 中 状态 ) (0 入) 迄 N) 表 示 待 测试 软件 中 
还 隐藏 有 个 缺陷 ,在 时 刻 ,如果 对 状态 j 应 用 测试 决策 A,, 待 测试 软件 仍然 具有 j 个 缺陷 
的 概率 是 : 1 一 j04 ,转移 到 具有 j 一 1 个 缺陷 的 概率 是 : j04, 。 


5. 优 缺 点 ~ Ne -We 204 0 
Co- 全 一 
现 有 测试 技术 存在 两 个 问题 : 没有 引入 测试 历 C \ gs, 2) 


史 信 息 ,大 量 的 测试 信息 (比如 ,测试 用 例 的 有 效 性 ) Oe 
没有 用 于 指导 下 一 步 的 测试 行为 ;没有 对 被 测 对 象 ”图 5-14 可 控 马 尔 可 夫 链 的 状态 转移 图 
的 参数 和 对 象 的 性 质 做 在 线 估计 。 由 此 ,产生 的 结果 是 : 缺乏 对 测试 过 程 的 改进 ,不 能 得 到 
最 有 效 的 测试 过 程 ; 对 测试 对 象 的 性 质 不 了 解 , 难 以 实现 给 定 的 测试 目标 (比如 ,测试 代价 
最 小 .可 靠 性 评估 的 方差 最 小 ) 。 而 自 适应 测试 , 正 是 利用 测试 过 程 中 的 历史 信息 ,并 用 它 来 
指导 未 来 的 测试 步骤 (比如 ,测试 用 例 的 选择 ) ,同时 用 这 些 测试 信息 估计 被 测 对 象 的 性 质 和 
参数 ,根据 这 些 参数 可 以 更 有 针对 性 的 选取 测试 用 例 , 实 现 给 定 目标 下 的 最 优 测试 。 

但 自 适应 软件 测试 方法 的 效果 依赖 于 反馈 系统 的 形式 化 和 反馈 机 制 的 质量 ,目前 相应 
的 反馈 机 制 还 远 未 成 熟 ,尽管 反馈 机 制 在 软件 过 程 随处 可 见 ,但 高 度 形式 化 和 定量 化 的 反馈 
机 制 还 未 形成 ,这 大 大 制约 了 适应 性 软件 测试 方法 的 应 用 。 


6. 补充 阅读 


计算 机 适应 性 考试 (computer adaptive testing,CAT) 
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根据 考生 对 试题 的 反应 情况 ,试题 库 适应 性 地 选择 下 一 道 试题 。 例 如 ,考生 对 一 个 中 等 
性 问题 回答 得 很 好 ,计算 机 就 会 给 他 选择 一 个 高 级 一 点 的 问题 ; 如 果 考生 对 这 个 中 等 性 问 
题 回答 得 不 好 ,下 一 个 问题 就 会 是 一 个 初等 层次 的 问题 。 测 试 停止 在 可 以 准确 反映 考生 水 
平 的 层次 上 。 

当 考 生 通过 计算 机 进行 考试 时 ,计算 机 可 以 通过 不 断 估计 考生 的 能 力 来 选择 下 一 道 考 
题 , 在 拥有 适当 的 题库 ,并 且 考 生 能 力 存 在 很 大 差别 的 前 提 下 ,CAT 比 传统 的 纸 笔 考试 更 加 
有 效 。 

传统 的 纸 笔 考 试 是 一 种 固定 形式 的 考试 ,所 有 的 考生 都 回答 试卷 中 统一 的 考题 。 这 些 题 
目 对 有 些 考 生来 说 ,有 的 可 能 很 难 , 有 的 可 能 很 容易 ,都 会 给 考生 增加 一 些 多 少 不 等 的 分 数 。 
但 是 这 个 分 数 一 般 不 能 真实 反映 学 生 的 真实 水 平 , 因 此 ,试题 和 考生 都 需要 一 定 程度 的 精度 。 

在 计算 机 适应 性 考试 过 程 中 ,考生 的 能 力 可 以 不 断 地 进行 评估 ,考题 根据 评估 结果 不 断 
进行 调整 ,这 样 CAT 可 以 为 考生 选择 适当 的 试题 ,从 而 从 考生 的 反映 中 最 大 限度 地 获得 考 
生 能 力 的 信息 ,考生 一 般 不 会 分 配 到 太 容易 或 太 难 的 考题 ,这 个 选择 过 程 可 以 克服 手工 选择 
可 能 存在 的 错误 ,提高 测试 精度 。 


习题 5.14 


1. 软件 测试 的 控制 论 方法 与 传统 测试 方法 有 哪些 区 别 和 联系 ? 
2. 自 适应 考试 可 以 看 成 是 一 种 自 适 应 控制 在 考试 中 的 应 用 ,请 模仿 图 5-11、 图 5-12 或 
图 5-13 画 出 相应 的 反馈 机 制图 ,并 给 出 简要 的 解释 。 


6.15 导向 性 随机 测试 (Concolic Testing) 


1. 概念 


导向 性 随机 测试 是 一 种 将 具体 执行 与 符号 执行 相 结合 的 自动 化 测试 方法 , 其 目标 是 通 
过 生成 测试 输入 来 执行 程序 中 的 所 有 可 行路 径 , 以 发 现 程序 缺陷 。 其 中 ,Concolic 是 将 具 
体 (CONCrete) 和 符号 (symbOLIC) 两 个 词 结合 在 一 起 所 构成 的 一 个 新 词 (CONCrete 十 
SymbOLIC= Concolic)。 具 体 执行 是 以 具体 的 输入 值 执 行程 序 ; 符号 执行 使 用 变量 符号 代 
蔡 具 体 的 输入 值 ,模拟 执行 程序 ,得 到 程序 各 路 径 条 件 的 符号 化 表达 式 , 然 后 对 符号 表达 式 
进行 约束 求解 ,以 得 到 能 够 执行 指定 程序 路 径 的 具体 输入 值 。 而 导向 性 随机 测试 则 是 将 具 
体 执行 与 符号 执行 相 结合 的 测试 技术 ,其 思想 是 在 具体 执行 过 程 中 收集 路 径 条 件 的 符号 表 
达 式 ,并 按照 深度 优先 的 策略 将 路 径 条 件 逐 一 取 反 ,然后 通过 约束 求解 的 方式 求解 取 反 后 的 
路 径 条 件 , 以 获得 执行 新 路 径 的 测试 输入 。 当 不 能 求解 路 径 条 件 时 ,使 用 具体 的 值 来 代替 符 
号 表达 式 , 以 简化 路 径 条 件 。 


2 方法 


导向 性 随机 测试 的 过 程 描述 如 下 : 
(1) 选择 程序 C 的 输入 变量 作为 符号 执行 中 的 符号 处 理 。 
(2) 对 目标 程序 C 进行 静态 插 桩 ,每 个 桩 记录 路 径 执行 的 符号 条 件 。 
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(3) 利用 给 定 的 输入 运行 插 桩 后 的 目标 程序 (在 一 开始 ,程序 的 输入 随机 产生 )。 

(4) 获得 程序 C 在 具体 给 定 输入 下 的 实际 执行 路 径 的 符号 公式 Pi 。 

(5) 将 执行 路 径 w 上 的 一 个 分 支 条 件 取 反 ,产生 一 个 新 的 路 径 符号 公式 yj。 

(6) 利用 约束 求解 器 求解 新 路 径 的 符号 公式 y ,得 到 目标 程序 C 的 下 一 个 具体 输入 。 
(7) 跳 转 到 第 (3) 步 ,直到 所 有 可 行路 径 都 被 执行 。 


3. 实例 


考虑 测试 图 5-15 中 的 程序 ,从 程序 中 可 以 看 出 ,通过 随机 生成 测试 用 例 测 试 到 Error 
分 支 是 很 困难 的 ,概率 非常 小 。 以 下 说 明 导 向 性 随机 测试 能 克服 这 个 困难 。 

(1) 选择 测试 输入 变量 a、b、c。 

(2) 对 目标 程序 进行 静态 插 桩 ,如 图 5-16 所 示 ,每 个 分 支 都 标注 了 执行 的 符号 条 件 。 

(3) 首先 随机 产生 一 个 输入 (0,0,0) 。 

(4) 输入 (0,0,0) ,执行 路 径 的 符号 公式 是 al 一 1。 

(5) 将 符号 公式 al=1 取 反 ,得 到 新 的 符号 公式 a 一 1。 
// Test input a, bc 
voidflint a, int b, int c){ 


if(a== 1){ 
f(b==2)1{ 


if(c==3*a+b){ 
Error(); 
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(00) cl=3xa+b 


oa01.2.0) 


图 5-15 被 测试 程序 图 5-16 导向 性 随机 测试 示意 图 


(6) 根据 新 的 符号 公式 a 二 1, 产 生 新 的 输入 (1 ,0,0)。 

(7) ( 转 第 (3) 步 ,第 1 轮 循环 开始 ) 利用 新 输入 (1,0.0) ,执行 目标 程序 。 

(8) 得 到 新 输入 (1,0,0) ,执行 路 径 的 符号 条 件 公式 为 a=1 且 b!=2。 

(9) 将 符号 公式 b!=2 取 反 ,得 到 新 的 符号 公式 a 二 1 且 b=2。 

(10) 根据 新 的 符号 公式 a 二 1 且 b= 二 2, 产 生 新 的 输入 (1 ,2,0)。 

(11)( 转 第 (3) 步 ,第 2 轮 循环 开始 ) 利 用 新 输入 (1,2,0) ,执行 目标 程序 。 

(12) 得 到 新 输入 (1,2,0) ,执行 路 径 的 符号 条 件 公 式 为 a 二 1 且 b= 二 2 且 c!==3a 十 b。 
(13) 将 符号 公式 c!=3a 十 b 取 反 ,得 到 新 的 符号 公式 a 二 1 且 b=2 且 c==3a 十 b。 
(14) 根据 新 的 符号 公式 a 二 1 且 b= 二 2 且 c 二 3a 十 b, 产 生 新 的 输入 (1,2,5)。 

(15) ( 转 第 (3) 步 ,第 3 轮 循环 开始 ) 利 用 新 输入 (1,2,5) 执 行 目标 程序 。 

(16) 得 到 新 输入 (1,2,5) ,执行 路 径 的 符号 条 件 公 式 为 a=1 且 b=2 且 ec 一 3a 十 b。 
(17) 此 时 已 经 无 法 通过 对 某 个 分 支 条 件 进行 取 反 得 到 新 的 符号 公式 ,测试 结束 。 


习题 5.15 


查阅 符号 执行 (Symbolic Execution) 方 面 的 资料 ,了 解 符号 执行 方面 的 理论 、 方 法、 工具 
和 应 用 。 
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6.16 图 形 用 户 界 面 测试 (GUI Testing) 


图 形 用 户 界面 ,通常 称 为 GUI(Graphical User Interface) ,是 计算 机 技术 的 重大 进展 之 
一 , 它 已 经 越 来 越 成 为 用 户 喜欢 的 一 种 人 机 接口 界面 , 它 几 乎 是 无 处 不 在 的 。GUI 的 好 坏 
将 直接 影响 用 户 使 用 软件 时 的 效率 及 心情 ,也 直接 影响 用 户 对 所 使 用 的 系统 的 印象 。 开 发 
者 用 专门 的 、 越 来 越 大 的 模块 来 实现 它们 。 图 形 用 户 界 面 的 代码 量 构成 高 达 60% 的 应 用 程 
序 的 总 代码 量 。 因 此 ,制定 GUI 测试 的 测试 原则 ,掌握 GUI 测试 的 测试 流程 ,研究 它 的 测 
试用 例 生 成 方法 ,开发 高 质量 的 GUI 自动 化 测试 软件 是 非常 有 意义 的 。 这 对 减少 软件 开发 
的 成 本 ,提高 软件 质量 是 非常 有 帮助 的 。 


1. 概念 


用 户 图 形 界 面 (又 称 图 形 用 户 接口 ) 是 指 采 用 图 形 方式 显示 的 计算 机 操作 用 户 接口 。 与 
早期 计算 机 使 用 的 命令 行 界面 相 比 ,图 形 界面 对 于 用 户 来 说 在 视觉 上 更 易于 接受 。WIMP 
是 图 形 界面 电脑 所 采用 的 界面 典范 , W 指 窗口 (Window)、I 指 图 标 (Icon)、M 指 菜单 
(Menu) \P 指 指标 (Pointer) 。 一 个 GUI 是 一 个 分 层 的 图 形 化 的 软件 前 端 , 它 从 一 个 固定 的 
事件 集中 接受 用 户 产 生 的 和 系统 产生 的 事件 ,并 且 产 生 确 定 的 图 形 输出 。 一 个 GUI 包含 许 
多 图 形 对 象 ,每 个 图 形 对 象 有 一 个 固定 的 属性 集合 。 在 GUI 执行 的 任何 时 刻 , 这 些 属性 有 
着 离散 的 值 ,这 些 值 的 集合 组 成 了 GUI 的 状态 。 

软件 界面 的 图 形 化 已 成 为 当今 软件 的 一 个 重要 特征 ,图 形 化 的 用 户 界面 不 仅 越 来 越 普 
遍 , 也 越 来 越 复杂 ,图 形 用 户 界面 测试 技术 也 因此 越 来 越 受 到 重视 ,人 们 已 经 在 针对 图 形 用 
户 界面 的 测试 用 例 生成 ,测试 预言 和 测试 充分 性 准则 等 方面 做 了 很 多 、 很 系统 的 研究 。 

图 形 用 户 界面 测试 是 一 种 软件 测试 过 程 ,测试 的 对 象 是 软件 产品 的 图 形 用 户 界面 ,目的 
是 确保 图 形 用 户 界面 符合 用 户 要 求 或 规格 说 明 书 要 求 。 测 试 的 方法 是 通过 设计 ,执行 各 种 
高 质量 测试 用 例 , 系 统 地 覆盖 系统 功能 ,充分 执行 所 有 图 形 用户 界 面 。 为 此 ,需要 处 理 好 两 
个 方面 的 问题 : 一 个 是 测试 域 范围 的 确定 , 另 一 个 是 测试 序列 的 确定 。 

测试 域 范围 的 确定 就 是 确定 测试 哪些 图 形 用 户 接口 操作 。 跟 命令 行 系统 不 同 的 是 , 具 
有 图 形 用 户 界面 的 系统 有 很 多 需要 测试 的 操作 对 象 ,例如 ,一 个 很 小 的 Microsoft WordPad 
就 有 325 个 可 能 的 图 形 用 户 接 口 操作 ,一 些 大 的 软件 系统 ,图 形 用 户 接口 操作 很 可 能 还 要 多 
一 个 数量 级 。 

测试 序列 的 确定 问题 是 指 某 些 系 统 功能 的 执行 必须 按照 一 个 复杂 的 图 形 用 户 接口 事件 
序列 来 完成 。 例 如 ,打开 一 个 文件 ,用 户 必须 首先 单 击 文件 菜单 ,选择 “打开 ”操作 ,使 用 对 话 
框 选择 要 打开 的 文件 , 按 “ 确 定 ” 按 钮 ,最 后 查看 新 打开 的 窗口 。 因 此 , 当 测 试 的 功能 越 来 越 
多 时 ,这 些 操作 序列 就 会 迅速 增长 ,这 给 测试 用 例 的 设计 提出 了 很 严峻 的 挑战 。 

在 图 形 用 户 界面 的 测试 中 ,回归 测试 也 是 一 个 重要 的 问题 , 当 图 形 用 户 界 面 在 不 同 版 本 
中 发 生变 化 后 ,原来 的 测试 用 例 往 往 需 要 作 相 应 的 变化 ,因为 原来 的 按钮 .菜单 或 对 话 框 发 
生 了 变化 。 为 了 克服 图 形 用 户 界 面 测试 中 的 问题 ,除了 自动 化 方法 之 外 ,人 们 提出 了 很 多 
GUI 测试 方法 ,例如 有 限 自动 机 模型 方法 ,把 图 形 界面 系统 抽象 为 一 个 有 限 自动 机 来 进行 
测试 ,但 对 于 复杂 的 系统 ,自动 机 也 会 变 得 非常 复杂 而 不 是 非常 好 用 。 
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2. 目标 


GUI 测 试 与 软件 测试 中 的 其 他 方面 的 测试 有 很 大 的 区 别 ,其 目标 主要 体现 在 解决 以 下 
几 个 方面 的 问题 : 

(1) 一 个 GUI 的 可 能 接口 空间 是 非常 庞大 的 。 每 个 GUI 活动 序列 可 能 会 导致 系统 处 
在 不 同 的 状态 上 。 一 般 来 说 ,GUI 活动 的 结果 在 系统 不 同 的 状态 上 是 不 同 的 。 这 样 就 必须 
在 一 个 庞大 的 状态 集 上 进行 GUI 测试 ,这 个 工作 很 难 完成 ,即使 是 借助 自动 化 测试 。 

(2) GUI 的 事件 驱动 特性 。 由 于 用 户 可 能 会 单 击 屏幕 上 任何 一 个 像素 ,因此 对 GUI 来 
说 可 能 会 产生 非常 非常 多 的 用 户 输入 。 而 要 让 计算 机 自动 地 模拟 这 些 输入 是 困难 的 。 

(3) 界面 的 美学 具有 很 大 的 主观 性 。 界 面 元 素 的 默认 大 小 、 元 素 间 的 组 合 及 排列 次 序 、 
界面 元 素 的 位 置 . 界 面 颜色 等 ,这 些 对 不 同 的 用 户 来 说 可 能 会 有 不 同 的 结果 。 因 此 ,如 何 才 
能 代表 大 部 分 客户 的 意见 也 是 界面 测试 的 一 个 难点 。 尤 其 是 测试 人 员 和 开发 人 员 可 能 会 有 
不 同 的 意见 。 

(4) 应 用 程序 中 的 功能 通过 图 形 用 户 接口 进行 调用 ,糟糕 的 设计 会 使 得 界面 与 功能 混 
杂 在 一 起 ,这 使 得 界面 的 修改 可 能 会 导致 更 多 的 错误 ,增加 了 测试 的 难度 和 工作 量 。 


3. 原理 


GUI 的 重要 特征 主要 包括 图 形 化 .事件 驱动 .具有 等 级 体系 结构 .包含 各 种 对 象 且 这 些 
对 象 具 有 各 种 性 质 。 因 此 ,GUI 可 以 定义 为 : 具有 等 级 的 图 形 化 软件 前 端 ,可 以 接受 用 户 产 
生 的 或 者 系统 产生 的 事件 ,这 些 事件 来 自 确定 的 事件 集合 ,作为 软件 的 输入 ,并 对 应 确定 的 
输出 。 一 个 GUI 包括 一 组 图 形 对 象 ; 每 个 对 象 都 有 一 组 性 质 , 在 GUI 执行 的 任何 时 候 ,这 
些 性 质 都 具有 一 组 离散 的 值 ,这 些 离散 的 值 构成 GUI 的 状态 。 

虽然 GUI 测试 有 其 特殊 的 地 方 ,但 其 测试 过 程 与 传统 方法 一 样 ,主要 包括 以 下 步骤 : 

(1) 根据 GUI 测试 覆盖 标准 ,确定 每 一 个 用 户 界面 事件 为 测试 对 象 ,以 确保 其 正常 
工作 。 

(2) 针对 每 个 测试 对 象 产生 GUI 测试 输入 序列 ,包括 鼠标 点 击 、 菜 单 选择 和 对 象 操 
作 等 。 
(3) 产生 GUI 测试 预期 输出 ,包括 屏幕 的 显示 、 窗 口 的 位 置 和 标题 等 。 

(4) 执行 测试 用 例 , 比 对 测试 结果 与 预期 结果 ,判断 测试 是 否 结束 等 。 

测试 充分 性 准则 是 一 组 决定 测试 什么 时 候 停止 的 准则 ,比较 常用 的 有 结构 化 覆盖 准则 ， 
如 语句 覆盖 、 分 支 覆盖 等 。GUI 测试 不 能 照搬 ,因为 GUI 的 测试 对 象 是 大 量 的 事件 和 事件 
序列 ,不 能 用 基于 代码 的 测试 准则 来 衡量 GUI 测试 ,因此 人 们 定义 了 基于 事件 的 覆盖 准则 , 
不 仅 考虑 所 有 可 能 的 事件 ,还 覆盖 事件 之 间 的 交互 ,考虑 事件 流 序列 的 长 度 等 因素 。 

用 户 界面 测试 是 一 个 需要 综合 用 户 心理 、 界 面 开发 设计 技术 的 测试 活动 。 尤 其 需要 把 
握 一 些 界面 设计 的 原则 ,遵循 一 些 设计 的 要 点 来 进行 测试 。 根 据 界面 设计 的 原则 来 制定 一 
份 界面 设计 规范 ,这 份 界面 设计 规范 需要 得 到 项 目 组 全 体 人 员 的 认可 ,作为 设计 界面 和 测试 
的 依据 ,也 是 开发 人 员 开 发 界面 和 修改 界面 的 依据 。 下 面 介 绍 的 是 IBM 的 用 户 界面 架构 规 
范 , 可 以 参考 这 些 原则 和 规范 来 制定 适合 自己 的 测试 项 目的 界面 规范 。IBM 用 户 界面 架 
构 , 简 称 UIA(User Interface Architecture) ,提出 了 12 个 方面 的 界面 设计 原则 : 
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(1) 亲和力 (Affinity)。 通 过 良好 的 外 观 设计 ,让 界面 更 具有 亲和力 。 亲 和 力 的 设计 是 
整个 设计 过 程 的 主体 部 分 。 界 面 的 设计 应 该 简易 朴素 ,建立 层次 感 ,设计 一 个 显示 出 良好 的 
供给 能 力 的 视觉 方案 。 

(2) 协助 (Assistance) 。 提 供 主动 的 协助 。 软 件 系统 应 该 帮助 用 户 执行 各 种 各 样 的 任 
务 。 不 同 用 户 的 系统 知识 和 处 理 任务 的 能 力 水 平 不 同 ,软件 系统 要 能 识别 用 户 的 能 力 ,给 予 
用 户 适当 的 帮助 。 

(3) 有 效 (Availability)。 让 用 户 可 以 在 任何 时 候 、 以 任何 次 序 在 同一 个 视图 使 用 所 有 
的 对 象 。 尽 量 避 免 使 用 模 态 窗口 , 模 态 窗口 会 禁止 其 他 窗口 的 操作 ,这 样 会 限制 用 户 与 系统 
交互 的 能 力 , 导 致 很 多 不 便 。 

(4) 鼓励 (Encouragement)。 让 动作 可 以 预见 并 可 以 恢复 。 鼓 励 用 户 探 索 系统 ,尝试 操 
作 , 查 看 结果 ,撤销 或 删除 操作 。 在 操作 之 前 ,让 用 户 知 道 执行 操作 会 带 来 的 后 果 。 

(5) 熟悉 (Familiarity)。 让 用 户 基于 已 有 的 关于 软件 系统 的 知识 来 使 用 新 的 系统 。 统 
一 的 视觉 设计 和 界面 交互 技巧 能 减少 用 户 学 习 使 用 新 软件 或 新 版 本 的 时 间 , 同 时 降低 学 习 
的 难度 。 

(6) 明显 (Obviousness)。 让 对 象 和 控件 是 明显 、 直 觉 、 显 而 易 见 的 ,类 似 它们 在 现实 世 
界 的 样子 。 使 用 图 像 或 文字 提示 来 明确 对 象 和 控件 的 功能 ,易于 用 户 识别 。 

(7) 个 性 化 (Personalization) 。 人 允许 用 户 对 界面 进行 个 性 化 设置 ,允许 用 户 按 个 人 的 需 
要 和 想法 裁剪 界面 。 让 用 户 把 经 常 使 用 的 或 是 感 兴趣 的 功能 放 到 快捷 的 位 置 , 这 样 可 以 节 
约 时 间 、 提 高 用 户 的 使 用 效率 及 满意 程度 。 

(8) 安全 (Safety)。 不 要 让 用 户 轻 易 接 触 到 危险 的 操作 ,同时 提供 给 用 户 足 够 的 帮助 信 
息 ,减少 用 户 犯错 的 机 会 。 例 如 , Windows 操作 系统 会 隐藏 平时 用 户 用 不 到 的 关键 的 系统 
文件 ,避免 用 户 不 小 心 删除 掉 它 们 ,造成 不 必要 的 麻烦 。 

(9) 满意 (Satisfaction) 。 让 用 户 感 觉 到 操作 流畅 。 迅 速 显 示 用 户 操作 的 结果 ,任何 加 
在 用 户 任务 上 的 延迟 都 会 影响 用 户 对 系统 的 信心 。 及 时 的 反馈 可 以 让 用 户 判 断 是 否 对 操作 
结果 满意 ,如 果 不 满意 , 则 可 以 撤销 操作 ,或 是 更 换 。 

(10) 简单 (Simplicity)。 尽 量 减少 界面 上 的 对 象 和 动作 的 个 数 ,但 是 能 足以 让 用 户 完 
成 任务 。 

(11) 支持 (Support)。 让 用 户 控制 系统 ,让 用 户 自己 定义 完成 任务 的 过 程 。 不 要 把 自 
己 认为 正确 的 做 事 方式 强加 给 用 户 ,而 限制 了 用 户 可 能 的 选择 。 

(12) 多 样 性 (Versatility) 。 支 持 蔡 代 的 交互 方式 。 没 有 一 个 唯一 的 交互 方式 是 在 任何 
情况 下 都 是 最 好 的 。 提 供给 用 户 多 种 选择 ,让 用 户 在 不 同 环境 下 选择 最 佳 的 解决 方法 。 


4. 方法 


手工 测试 即 通过 人 工 的 方法 将 测试 用 例 输 入 计算 机 并 对 应 用 程序 进行 测试 ,来 检测 其 
功能 是 否 符合 需求 说 明 书 的 要 求 。 随 着 计算 机 软件 技术 的 不 断 发 展 , 软 件 中 的 GUI 越 来 越 
复杂 ,需要 进行 测试 的 GUI 事件 序列 十 分 庞大 ,用 人 工 的 方法 进行 测试 ,效率 会 比较 低下 ， 
而 且 往往 会 有 许多 重复 的 工作 ,给 测试 人 员 带 来 很 多 麻烦 。 但 是 ,手工 测试 也 有 其 不 可 替代 
的 地 方 ,主要 包括 以 下 几 点 : 在 测试 用 例 的 设计 中 测试 人 员 的 经 验 和 对 错误 的 猜测 能 力 是 
工具 不 可 替代 的 ; 对 图 形 界面 的 体验 中 人 类 的 审美 观 和 心理 体验 是 工具 不 能 模拟 的 ; 检查 
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正确 性 时 人 们 对 是 非 的 判断 .逻辑 推理 的 能 力 是 工具 不 具备 的 。 

自动 化 测试 是 软件 测试 发 展 的 一 个 必然 结果 。 软 件 测 试 的 一 个 显著 特点 是 重复 性 , 重 
复 让 人 产生 厌倦 的 心理 ,重复 使 工作 量 倍增 ,因此 自动 化 测试 成 为 了 重要 的 手段 。 自 动 化 测 
试 可 以 明显 减少 整个 软件 开发 周期 中 软件 测试 的 时 间 和 资金 的 开销 。 自 动 化 可 以 保证 测试 
有 规律 而 且 一 致 地 进行 ,在 早期 实现 错误 检测 ,从 而 提高 质量 ,缩短 产品 上 市 时 间 。 

目前 广泛 使 用 的 生成 GUI 测试 脚本 的 方法 是 捕获 /回放 技术 。 捕 获 / 回 放 技术 即 测试 
者 通过 点 击 鼠 标 和 键盘 输入 ,与 GUI 进行 的 交互 工作 。 用 脚本 记录 这 些 事件 序列 ,然后 以 
自动 测试 的 方式 对 事件 进行 回放 。 这 种 方法 产生 的 脚本 是 固定 的 ,不 能 灵活 地 改动 。 如 果 
在 测试 时 需要 不 同 的 输入 ,测试 脚本 需要 重新 生成 。 如 果 GUI 部件 经 过 了 测试 对 有 问题 的 
部 分 进行 了 修改 ,在 进行 回归 测试 时 也 不 能 使 用 原来 的 测试 脚本 ,给 测试 者 带 来 不 便 。 另 外 
手动 录制 测试 脚本 的 时 候 容易 出 错 ,捕获 /回放 过 程 有 可 能 会 记录 下 很 多 错误 的 或 是 宛 余 的 
点 击 鼠 标 事件 和 键盘 输入 。 

自动 化 测试 是 对 手工 测试 的 一 种 补充 ,自动 化 测试 不 可 能 完全 替代 手工 测试 。 手 工 测 
试 、 自 动 化 测试 ,一 个 都 不 能 少 。 关 键 是 在 合适 的 地 方 使 用 合适 的 测试 手段 。 

常见 的 自动 化 测试 软件 有 : IBM Rational 测试 工具 , 它 可 以 完成 测试 软件 开发 周期 中 
所 有 阶段 的 测试 ,在 GUI 方面 经 常用 到 的 是 RationalRobot 和 Visual Test; WinRunner 是 
Mercury 公司 开发 的 工具 ,可 用 于 基于 Windows 或 是 Web 的 应 用 程序 的 测试 ,可 以 使 用 外 
部 的 数据 库 测 试 应 用 ; SilkTest 是 Segue 公司 的 GUI 测试 工具 , 它 运行 于 Windows 平台 ， 
主要 用 于 测试 MFC 库 生 成 的 对 象 和 GUI 部 件 。 

大 部 分 的 开放 源码 的 GUI 测试 工具 是 针对 Java 开发 的 GUI 软件 的 。 常 见 的 有 : 
Abbot 能 够 对 Java 应 用 进行 GUI 单元 测试 和 功能 测试 ; GUITAR 主要 采用 基于 事件 的 工 
具 和 技术 ,并 包含 一 个 测试 用 例 生 成 器 ; qftestJUI 它 是 在 UNIX 系统 上 使 用 的 ,测试 带 有 
Java/Swing 应 用 的 GUI 部 件 。 


习题 5.16 


选择 一 个 小 型 软件 ,如 计算 器 、QQ 等 ,对 其 进行 GUI 测试 ,对 本 节 提 供 的 理论 与 方法 
进行 验证 和 总 结 。 


ET 随机 测试 (Random Testing) 


1. 概念 


在 待 测试 软件 所 有 可 能 的 输入 中 ,随机 选择 和 产生 测试 输入 并 对 待 测试 软件 进行 测试 ， 
这 种 测试 方法 称 为 随机 测试 。 随 机 测试 是 一 种 最 为 简单 的 测试 方法 , 它 几 乎 不 利用 任何 关 
于 软件 的 额外 信息 (除了 软件 输入 信息 ) ,也 不 需要 测试 人 员 的 任何 经 验 和 技能 。 


2. 目标 


随机 测试 方法 是 那些 依据 测试 充分 性 准则 ,需要 通过 精心 设计 产生 测试 用 例 的 测试 方法 
的 一 个 重要 补充 ,可 以 弥补 由 于 人 们 考虑 不 周 或 考虑 有 偏向 造成 的 不 良 影响 ,经 常 能 发 现 人 们 
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意料 之 外 的 软件 故障 。 因 此 ,随机 测试 已 经 被 推荐 为 软件 测试 过 程 中 最 不 可 缺少 的 一 步 。 
3. 原理 


Myers 认为 随机 测试 是 一 种 最 弱 的 测试 方法 ,这 种 测试 方法 利用 的 测试 用 例 集 在 错误 
检测 能 力 方 面 几乎 不 可 能 达到 最 优 , 或 者 接近 最 优 ,他 建议 人 们 使 用 更 聪明 的 测试 方法 ,而 
最 好 不 要 用 随机 测试 方法 。 

而 人 们 认为 随机 测试 方法 简单 易 行 ,容易 自动 化 ,是 一 种 不 可 忽视 的 重要 的 软件 测试 方 
法 。 特 别 是 很 多 实践 研究 证 明 ,随机 测试 方法 与 其 他 所 谓 更 聪明 的 方法 (如 等 价 划 分 测试 、 
路 径 覆 盖 测 试 方法 ) 相 比 ,其 错误 检测 能 力 不 差 ,有 时 甚至 更 好 一 点 ,而 这 些 方法 的 使 用 成 本 
明显 要 比 随机 方法 昂贵 很 多 。 


4. 方法 


随机 测试 方法 只 利用 待 测试 软件 的 输入 模型 ,该 输入 模型 定义 了 待 测试 软件 的 所 有 可 
能 的 输入 ,不 需要 对 所 有 的 测试 输入 进行 划分 ,测试 输入 的 选择 可 以 根据 预期 输入 的 分 布 情 
况 随机 选择 ,而 如 果 没 有 关于 输入 分 布 的 相关 信息 ,只 需 利 用 均匀 分 布 ,随机 产生 测试 输入 。 


5. 实例 


考虑 测试 一 个 可 以 将 平面 直角 坐标 系 的 坐标 (z,y) 转 换 为 极 坐标 系 坐 标 (~, 互 ) 程 序 ， 
其 中 r= Vx 十 y ,cos 厅 一 z/r。 直 角 坐 标 系 和 极 坐 标的 原点 重 回 , 极 坐 标 极 轴 与 直角 坐标 
的 z 轴 重 合 , 极 角 是 逆 时 针 角 度 。 
输入 : 
工 : [一 320,320], 最 小 增 量 1/25 
y: [一 240,240], 最 小 增 量 1/27 


r: [0,400], 最 小 增 量 1/25 
五 : [0,(2Xpi 一 1/25)], 最 小 增 量 1/2? 

对 于 这 个 程序 的 输入 分 布 没有 任何 特别 信息 ,因此 ,可 以 利用 均匀 分 布 ,随机 选择 x 和 
y 的 值 Cz 可 选 值 有 40 961 个 ,y 有 可 选 值 61 441 个 )。 要 慎重 使 用 其 他 分 布 , 因 为 这 些 分 布 
使 用 不 当 会 导致 有 些 输 入 域 无 法 被 测试 到 。 

随机 测试 可 以 手工 完成 ,也 可 以 在 完全 没有 人 干预 的 情况 下 自动 完成 ,自动 随机 测试 具 
有 最 好 的 成 本 有 效 性 ,然而 ,要 获得 完全 的 自动 化 就 必须 解决 3 个 方面 的 问题 , 即 测试 输入 
的 自动 生成 预期 结果 的 自动 生成 和 测试 输出 的 自动 检查 。 

只 要 待 测试 软件 的 输入 模型 建立 好 ,利用 伪 随 机 数 生成 器 随机 生成 测试 输入 并 不 困难 。 
然而 ,预期 输出 的 自动 生成 或 自动 检查 存在 很 多 问题 ,上 且 很 多 情况 下 不 大 可 行 ,除了 以 下 情 
况 : 利用 另 一 个 独立 的 可 信 的 软件 执行 相同 功能 ,产生 预期 输出 ; 测试 过 程 中 只 考虑 软件 
系统 是 否 崩 溃 ; 软件 输出 易于 检查 ,例如 ,排序 程序 的 输出 就 是 一 个 排 好 序 的 数组 ; 软件 的 
输入 根据 输出 易于 产生 ,例如 ,只 要 将 平方 根 程序 的 输出 进行 平方 就 可 以 产生 它 的 输入 。 

上 例 中 ,坐标 转换 程序 的 预期 输出 是 否 正确 可 以 利用 反 函 数 进行 检查 ,利用 两 种 坐标 之 
间 存 在 关系 ~ sin Hy,r cos 有 Hz 可 以 在 一 定 范围 内 判断 程序 输出 是 否 正确 。 
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即使 随机 测试 的 完全 自动 化 存在 很 多 问题 ,但 随机 测试 仍然 被 看 作 一 种 非常 有 效 的 测 
试 方法 ,因为 随机 测试 的 测试 用 例 生成 不 需要 任何 成 本 。 随 机 测试 没有 定义 任何 覆盖 度量 ， 
它 的 一 个 完成 准则 可 以 定义 为 在 某 个 置信 区 间 内 (如 95%) ,发 生 不 一 致 输出 的 概率 (如 
0. 001) 。 对 于 一 些 输入 比较 复杂 的 程序 或 者 一 些 符号 输入 的 程序 ,需要 一 些 专门 的 方法 对 
输入 进行 处 理 , 以 使 得 待 测试 软件 可 以 方便 地 使 用 随机 测试 方法 。 


6. 优 缺 点 


。 优点 ”测试 输入 随机 生成 ,几乎 不 要 什么 附加 信息 ,成 本 低 , 易 于 自动 化 ; 随机 测试 
能 够 产生 人 们 无 法 产生 的 测试 用 例 , 从 而 发 现 一 般 的 软件 测试 难以 发 现 的 软件 故 
障 ; 随机 测试 的 结果 可 以 为 软件 可 靠 性 估计 提供 有 效 数 据 。 

*。 缺点 ”没有 定义 任何 覆盖 标准 作为 测试 目标 ,可 能 存在 很 多 没有 测试 到 的 地 方 。 


习题 5.17 


编写 程序 ,实现 对 本 节 实例 中 的 直角 坐标 和 极 坐标 互相 转化 应 用 程序 进行 自动 的 随机 
测试 ,通过 实践 总 结 随机 测试 的 优点 、 缺 点 和 需要 解决 的 问题 。 


6.i8 自 适应 随机 测试 (Adaptive Random Testing) 


1. 概念 


自 适 应 随机 测试 是 一 种 改进 的 随机 测试 方法 , 旨 在 提高 随机 测试 方法 的 性 能 ,该 测试 方 
法 基于 人 们 在 测试 过 程 中 建立 起 来 的 一 种 广泛 认可 的 直觉 和 经 验 : 一 个 测试 用 例如 果 没 有 发 
现 软件 故障 ,那么 另 一 个 相近 或 相似 的 测试 用 例 可 能 也 不 会 发 现 软件 故障 ,因此 当 运行 一 个 测 
试 ,而 这 个 测试 用 例 没 有 发 现任 何故 障 时 ,在 选择 下 一 个 测试 用 例 时 ,要 尽 可 能 选择 距离 该 测 
试用 例 远 一 点 的 测试 。 自 适应 随机 测试 方法 强调 : 在 随机 选择 测试 用 例 的 过 程 中 ,要 使 得 测 
试用 例 尽 可 能 均匀 地 分 散 开 , 这 样 随机 产生 的 测试 用 例 才 有 可 能 有 更 多 机 会 发 现 软件 故障 。 


2. 目标 


任何 随机 测试 可 以 使 用 的 地 方 一 般 都 可 以 使 用 自 适应 随机 测试 方法 进行 改进 ,提高 测 
试用 例 的 分 散 性 ,从 而 尽早 地 发 现 错误 。 


3. 原理 


为 了 提高 随机 测试 的 错误 检测 能 力 , 自 适应 随机 测试 利用 已 有 测试 用 例 的 信息 ,特别 是 
测试 过 程 中 未 能 发 现 故障 的 测试 用 例 信息 来 指导 生成 新 的 测试 用 例 。 自 适应 随机 测试 基于 
人 们 的 一 种 观察 , 即 引发 系统 故障 的 输入 一 般 都 是 串联 在 一 起 形成 一 个 或 多 个 连续 的 区 域 。 
相应 地 ,如 果 一 个 测试 用 例 和 一 个 没有 发 现 错误 的 测试 用 例 靠 得 很 近 ,就 很 可 能 仍然 发 现 不 
了 错误 ; 相反 ,如 果 这 个 测试 用 例 离 这 个 未 发 现 错误 测试 用 例 距离 很 远 , 则 这 个 测试 用 例 发 
现 错误 的 可 能 性 会 更 高 。 因 此 , 自 适应 随机 测试 强调 测试 用 例 选 择 的 分 散 性 ,距离 度量 是 该 
方法 的 一 个 关键 。 
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4. 方法 


这 里 主要 介绍 固定 候选 用 例 集 大 小 的 适应 性 随机 测试 ,一 种 最 典型 .最 简单 .也 是 应 用 
较 广泛 的 方法 。 

固定 候选 用 例 集 大 小 的 适应 性 随机 测试 使 用 2 个 测试 用 例 集 : ODS 一 一 用 于 存放 已 用 
来 测试 程序 但 并 没有 引发 程序 失效 的 测试 用 例 ,S= (ss ,sw); @@C 一 一 用 来 临时 保存 
用 于 产生 新 的 测试 用 例 的 候选 测试 用 例 , 大 小 固定 为 &,C 二 {co ,co，… ,ci}。 下 一 个 测试 用 
例 将 从 C 中 按照 如 下 步骤 产生 : 

(1) 计算 每 个 候选 用 例 cE C 与 成 功用 例 集 S 之 间 的 距离 di ,di; 为 c; 与 每 个 成 功用 例 
5jES 之 间 的 距离 的 最 小 值 。 

(2) 选择 d; 最 大 的 候选 用 例 c; 为 下 一 个 测试 用 例 , 即 选 出 距离 成 功用 例 最 远 的 候选 
用 例 。 


5. 实例 


对 于 一 维 的 输入 域 [0,10], 其 中 的 失效 域 为 [7,8], 对 于 随机 测试 方法 来 说 ,用 广度 量 
(所 度量 是 指 找 到 第 一 个 导致 程序 失效 时 所 用 测试 用 例 的 个 数 ) 的 方法 测试 可 得 其 找到 失 
效 时 的 期 望 值 为 10; 对 于 基于 距离 的 适应 性 随机 测试 来 说 ,初始 S 集合 为 空 ,为 最 大 限度 
地 覆盖 输入 域 ,C 集合 初始 为 {0,1,2,…,10) ,按照 固定 候选 用 例 集 大 小 的 适应 性 随机 测试 
方法 , 则 从 C 集 合 中 依次 产 出 下 一 个 测试 用 例 的 顺序 为 (0,10,5,2,7,1,3,4,6,8,9) ,因此 在 第 
5 次 进行 测试 候选 用 例 时 , 便 测试 出 了 失效 状态 ,下 值 为 5, 效率 比 随机 测试 提升 了 很 多 。 


6. 优 缺 点 


很 多 实验 研究 表明 , 自 适应 随机 测试 方法 可 以 有 效 提高 随机 测试 效率 ,特别 是 广度 量 
的 值 , 即 更 快 地 找到 软件 中 潜在 的 错误 。 但 有 些 研 究 人 员 认 为 自 适应 随机 测试 耗费 大 量 的 
计算 资源 ,在 实际 测试 中 有 时 不 像 预期 的 那样 ,因为 对 于 有 些 测 试 场景 , 自 适应 随机 测试 不 
一 定 能 够 做 到 尽量 将 测试 用 例 分 布 开 。 


习题 5.18 


对 于 二 维 的 输入 域 [(0,0),(10,10)], 其 中 的 失效 域 为 [(7,7),(8,8)]。 对 于 随机 测试 
方法 来 说 ,用 握 度 量 的 方法 测试 可 得 其 找到 失效 时 的 期 望 值 是 多 少 ? 对 于 基于 距离 的 适应 
性 随机 测试 来 说 , 设 初始 S 集合 为 空 ,为 最 大 限度 地 覆盖 输入 域 ,C 集合 初始 为 {0,1,2,…， 
10} ,按照 固定 候选 用 例 集 大 小 的 适应 性 随机 测试 方法 , 则 从 C 集合 中 依次 产 出 下 一 个 测试 
用 例 的 顺序 是 什么 ”此 时 下 值 是 多 少 ? 


6i 反 随 机 测试 (Anti-random Testing) 


随机 测试 是 一 种 黑 盒 测试 , 既 不 利用 软件 的 结构 信息 ,又 不 利用 已 有 测试 用 例 的 执行 信 
息 。 与 功能 测试 等 其 他 黑 盒 测 试 相 比 ,随机 测试 的 测试 用 例 产 生 的 特点 是 它 的 随机 性 ,其 他 
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黑 盒 测试 技术 的 测试 用 例 设计 都 具有 一 定 的 确定 性 。 因 此 ,随机 测试 可 以 给 人 们 对 于 软件 
的 质量 从 一 个 很 重要 的 角度 提供 了 信心 。 但 同时 人 们 也 发 现 ,对 于 软件 中 一 类 非常 难以 发 
现 的 错误 ,依靠 随机 测试 ,也 很 容易 造成 疏漏 。 

反 随 机 测试 同样 是 一 种 黑 盒 测试 技术 ,该 技术 首先 为 待 测试 软件 随机 生成 一 个 测试 用 
例 , 随 后 每 一 个 测试 用 例 的 生成 都 要 求 与 已 生成 的 测试 用 例 保持 最 大 的 距离 。 反 随机 测试 
虽然 不 利用 软件 的 结构 信息 ,但 追求 测试 用 例 之 间 要 尽量 分 散 开 。 反 随机 测试 的 测试 用 例 
除了 第 1 个 测试 用 例 是 随机 生成 的 ,其 他 测试 用 例 都 具有 一 定 的 确定 性 。 

为 了 说 明 测试 用 例 间距 离 的 概念 , 设 待 测试 软件 有 个 数值 输入 ,每 个 测试 用 例 是 一 个 
n 维 向 量 , 设 A= (a ,as，,…,a,) 和 B= 二 (Bb ,bs,…,b,) 是 该 待 测试 软件 的 两 个 测试 用 例 ( 严 
格 来 说 ,只 是 测试 输入 ,测试 用 例 还 要 包括 相应 的 预期 输出 )。 测 试用 例 间距 离 可 以 有 多 种 
定义 方法 ,常用 的 定义 有 海 明 距离 和 欧 几 里 得 距离 2 种 : 

(1) A 和 B 间 的 海 明 距 离 。H(A,B) 二 A 和 B 间 相 应 分 量 不 同 的 个 数 ,例如 A= 
(1,2,1,2),B 二 (2,1,2,2) 时 ,由 于 这 两 个 向 量 之 间 有 三 个 分 量 都 不 一 样 ,因此 ,H(A,B) 二 3。 

(2) A 和 B 间 的 欧 几 里 得 距离 。H(A,B) (1 一 2 十 (2 一 1 十 (1 一 2 十 (2 一 2 二 V3 。 

反 随 机 测试 方法 的 具体 步骤 分 为 以 下 3 步 : 

(1) 给 待 测试 软件 的 个 输入 变量 中 每 一 个 输入 变量 随机 指定 一 个 值 ,这 样 形成 一 个 
随机 的 测试 用 例 。 

(2) 产生 一 个 新 的 测试 用 例 , 使 得 这 个 测试 用 例 与 已 有 的 测试 用 例 保持 最 大 的 总 距离 ， 
并 把 该 测试 用 例 加 入 已 有 测试 用 例 集 。 

(3) 重复 第 (2) 步 ,指导 所 有 可 能 的 输入 被 遍历 ,或 者 产生 了 指定 数量 的 测试 用 例 。 

反 随 机 测试 的 目标 有 两 个 : 首先 ,是 对 于 那些 无 法 穷尽 测试 的 大 系统 , 反 随机 测试 希望 
通过 测试 用 例 的 最 大 限度 的 分 散 , 尽 可 能 多 地 发 现 软件 故障 ; 其 次 ,即使 对 于 小 型 的 可 以 穷 
尽 测试 系统 , 反 随机 测试 希望 尽 可 能 早 地 发 现 隐藏 其 中 的 故障 。 


习题 5.19 
反 随机 测试 的 目标 是 什么 ? 


6.20 结对 测试 (Pair Testing) 


结对 测试 是 一 种 由 两 个 测试 人 员 结 对 在 一 起 对 待 测 软 件 进行 测试 的 方法 ,一 个 测试 人 
员 控制 鼠标 和 键盘 , 另 一 个 测试 人 员 做 记录 ,一 起 讨论 测试 场景 ,提问 题 。 结 对 的 两 个 测试 
人 员 一 般 情况 下 一 个 是 专业 测试 人 员 , 另 一 个 是 开发 人 员 或 业务 分 析 员 。 结 对 测试 不 是 一 
种 非常 正式 的 测试 , 它 是 一 种 探索 性 测试 方法 。 探 索性 测试 是 一 种 非 正式 测试 技术 ,该 技术 
需要 丰富 的 测试 经 验 和 对 待 测试 软件 良好 的 了 解 。 结 对 测试 与 结对 编程 相似 ,而 结对 编程 
在 极限 编程 中 得 到 成 功 的 实践 。 结 对 测试 方法 可 以 充分 发 挥 两 个 人 的 智慧 、 实 现 知 识 技能 
的 互补 和 共享 ,以 及 相互 激励 ,是 个 体 测 试 方法 的 一 种 有 效 补 充 。 

结对 测试 可 以 让 测试 人 员 获得 对 待 测试 软件 的 良好 理解 ,并 能 学 会 如 何 发 现 和 排除 软 
件 故 障 。 该 方法 适合 于 需求 和 规格 说 明 不 是 非常 清楚 ,测试 小 组 新 成 立 不 久 ,需要 在 短 时 间 
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内 了 解 待 测试 软件 的 情况 。 特 别 是 ,由 开发 人 员 和 测试 人 员 结对 测试 时 ,他 们 对 待 测试 软件 
的 不 同 视角 会 给 该 软件 更 全 面 的 测试 ,他 们 分 别 对 于 软件 本 身 和 测试 方法 的 知识 会 互相 分 
享 、 相 互补 充 , 从 而 产生 很 好 的 测试 效果 。 而 且 两 个 人 在 一 起 工作 可 以 相互 促进 .取长补短 ， 
最 重要 的 是 两 个 人 工作 在 一 起 非常 有 趣 。 对 于 发 现 那些 难以 再 现 的 错误 ,以 及 需要 人 工 判 
断 测试 执行 是 否 正 确 的 情况 ,结对 测试 是 两 双眼 睛 总 会 比 一 双眼 睛 好 。 但 结对 测试 不 是 万 
能 的 ,与 其 他 测试 方法 一 样 , 结 对 测试 存在 风险 , 它 有 可 能 会 失败 。 结 对 测试 只 有 在 测试 人 
员 相 互 尊重 相互 信任 的 环境 下 才 会 有 效 ,否则 ,会 存在 很 多 问题 。 而 且 , 如 果 只 做 结构 化 测 
试 ,结对 测试 就 不 适合 ,因为 白 盒 测试 只 要 一 个 人 按照 要 求 去 做 就 可 以 了 。 

总 之 ,结对 测试 是 将 合作 与 测试 工作 结合 在 一 起 ,可 以 实现 测试 人 员 与 开发 人 员 之 间 以 
及 测试 人 员 相 互 之 间 的 交流 和 知识 共享 ,有 利于 培训 新 员工 、 打 破 工作 人 员 之 间 的 隔 疼 ,但 
结对 测试 只 有 在 合适 的 场合 用 好 了 才能 有 效果 。 结 对 测试 一 般 按照 以 下 步骤 实施 : 

(1) 选择 信任 的 测试 人 员 ,该 测试 人 员 具 有 结对 测试 的 理念 ,结对 人 员 是 平等 的 ,不 要 
出 现 给 高 级 工作 人 员 配 备 一 个 初级 工作 人 员 的 情况 。 

(2) 选择 合适 规模 的 测试 项 目 ,不 要 企图 一 次 测试 整个 软件 ,结对 测试 适合 测试 一 些 新 
的 功能 ,也 适合 测试 那些 结对 人 员 都 正在 参与 的 项 目 。 

(3) 预先 计划 好 什么 时 间 测 试 测试 多 长 时 间 、 中 间 休 息 时间 等 ,测试 达到 的 目标 ,缺陷 
报告 测试 文档 测试 用 例 等 ,测试 的 预期 目标 必须 首先 定义 好 ,这 样 参 与 的 测试 人 员 才 能 有 
明确 的 工作 目标 。 

(4) 使 用 适合 两 个 人 在 一 台 机 器 上 工作 的 环境 ,要 让 他 们 不 受 干 扰 , 并 能 自由 交流 。 

(5) 业绩 评估 ,结对 测试 是 否 成 功 ? 下 一 次 能 否 做 得 更 好 ? 


习题 5.20 
结对 测试 的 优点 是 什么 ? 


.21 在 线 测试 (Online Testing) 


在 线 测试 ,也 称 动态 测试 (On-the-fly Testing) 是 一 种 测试 技术 ,该 技术 中 测试 用 例 根据 
一 个 模型 程序 来 产生 ,测试 执行 被 结合 到 一 个 算法 中 ,该 方法 在 待 测试 软件 运行 过 程 中 动态 
产生 测试 用 例 ,而 不 是 事先 产生 测试 用 例 。 这 种 方法 的 好 处 如 下 : 

(1) 可 以 解决 在 测试 反应 系统 、 并 行 和 分 布 式 系统 测试 中 出 现 的 不 确定 性 ,避免 为 了 处 
理 各 种 可 能 的 情况 ,事先 必须 产生 大 量 的 测试 用 例 。 

(2) 离线 测试 面临 的 状态 空间 爆炸 问题 可 以 避免 ,因为 在 线 测试 在 测试 过 程 中 是 在 大 
的 状态 空间 中 随机 抽样 ,这 种 做 法 比 穷 举 各 种 可 能 情况 要 好 。 

(3) 在 线 测试 可 以 基于 概率 分 布 的 动态 改变 ,提供 用 户 选 择 动作 ,控制 测试 场景 。 

(4) 一 次 测试 可 能 会 持续 一 个 小 时 一 天 其 至 更 长 时 间 , 因 此 ,在 线 测试 可 能 会 执行 一 
些 很 难 、 很 有 压力 且 时 间 很 长 的 测试 。 

(5) 在 线 测 试 可 以 处 理 一 些 比较 复杂 的 模型 ,如 非 确 定性 模型 ,可 更 好 地 测试 软件 
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在 线 测试 通过 动态 变化 的 策略 选择 可 控制 动作 ,并 通过 跟踪 由 于 可 控制 和 可 观察 的 动作 
引起 的 状态 变化 ,判断 这 种 变化 是 否 符合 待 测 软件 的 规格 说 明 ,如 果 不 符合 , 则 发 现 故障 ; 否 
则 ,存储 模型 的 当前 状态 信息 ,产生 新 的 测试 动作 。 在 线 测试 的 各 种 测试 动作 依赖 于 各 种 用 户 
可 配置 参数 ,最 重要 的 参数 有 超时 参数 和 动作 权重 。 超 时 参数 确定 在 线 测试 过 程 中 等 待 被 测 
试 程序 反应 的 时 间 长 短 ; 动作 权重 用 来 配置 在 线 测试 过 程 中 选择 某 个 可 控制 的 动作 的 策略 。 

在 线 测试 过 程 大 致 可 以 描述 为 : 运行 待 测试 软件 ,同时 运行 在 线 测试 工具 ,在 线 测试 算 
法 根据 捕捉 到 的 软件 状态 ,产生 一 个 测试 动作 ,然后 等 待 被 测试 软件 的 反应 ,如 果 超 时 , 则 发 
现 问 题 ; 否则 ,判断 该 软件 的 反应 是 否 正确 。 如 果 不 正确 , 则 发 现 错误 ; 如 果 正 确 , 产 生 下 
一 个 测试 动作 ,继续 观察 输出 ,并 根据 输出 及 是 否 超 时 产生 下 一 步 动 作 ,直到 发 现 错误 或 者 
测试 结束 条 件 满足 ,停止 测试 。 

在 线 测试 还 存在 很 多 问题 ,如 覆盖 性 度量 、 测 试 场景 的 控制 .故障 的 分 析 、 重 现 以 及 避免 
相同 故障 的 重复 出 现 等 问题 。 

在 线 测试 与 自动 化 测试 有 点 相似 ,因为 在 线 测试 其 实 就 是 一 种 自动 化 测试 技术 ,但 一 般 
的 自动 化 测试 ,其 测试 用 例 和 预期 输出 都 是 可 预知 的 ,而 在 线 测试 的 测试 用 例 一 般 都 是 在 测 
试 过 程 中 动态 生成 的 ,虽然 具有 一 定 的 可 控制 性 ,但 有 很 大 程度 的 不 可 预见 性 。 


习题 5.21 
为 什么 要 进行 在 线 测试 ? 


622 探索 性 测试 (Exploratory Testing ) 


探索 性 测试 是 一 种 测试 方法 ,把 对 系统 的 探索 和 对 系统 的 测试 紧密 地 结合 起 来 ,这 种 测 
试 方法 强调 测试 人 员 个 人 的 自由 和 责任 ,可 以 充分 发 挥 他 们 的 创造 性 和 积极 性 , 它 把 测试 过 
程 看 成 是 一 种 与 测试 相关 的 学 习 , 测 试 设计 、 测 试 执行 和 测试 结果 的 解释 同时 进行 且 相 互 促 
进 的 活动 ,在 整个 测试 项 目 中 ,这 些 活动 可 以 在 并 行进 行 的 过 程 中 不 断 优化 。 因 此 探索 性 测 
试 具有 以 下 特点 : 

(1) 探索 性 测试 强调 测试 设计 和 测试 执行 的 同时 性 ,这 种 同时 性 是 相对 传统 软件 测试 
过 程 中 “ 先 设计 ,后 执行 ?来 说 的 。 

(2) 测试 工程 师 通 过 测试 来 不 断 学 习 被 测试 系统 ,通过 学 习 来 不 断 改进 测试 过 程 。 

(3) 探索 性 测试 强调 自由 性 和 创造 性 。 

探索 性 测试 并 不 是 一 种 新 的 方法 ,其 实 每 个 人 都 有 过 探索 性 测试 的 经 验 ,除非 读者 从 来 
没有 测试 过 软件 或 甚至 其 他 产品 。 在 探索 性 测试 中 ,测试 人 员 利 用 在 测试 中 学 习 得 到 的 经 
验 和 获得 的 关于 系统 的 信息 设计 更 好 的 测试 ,整个 测试 过 程 是 一 个 不 断 改 进 的 学 习 、 探 索 和 

探索 性 测试 其 实 是 一 门 艺 术 , 不 同 的 人 会 有 不 同 的 体验 和 效果 。 对 测试 人 员 的 要 求 首 
先是 能 够 系统 分 析 探 索 软 件 产品 ,设计 较 好 的 测试 用 例 ; 其 次 ,能 在 测试 执行 过 程 中 认真 观 
察 ,积极 思考 ,提出 很 多 问题 进行 下 一 轮 的 测试 设计 ; 最 后 ,优秀 的 探索 性 测试 人 员 应 该 广 
泛 了 解 各 种 测试 工具 、 信 息 资源 、 测 试 数据 ,甚至 广泛 结交 朋友 ,在 测试 过 程 中 ,积极 使 用 这 


151 


MY 


软件 测试 的 概念 与 方法 
些 资源 。 


习题 5.22 


探索 性 测试 的 效果 是 因 人 而 异 的 ,读者 认为 什么 样 的 人 可 以 将 探索 性 测试 的 效果 做 到 
最 好 ? 


6.23 反 模 型 测试 (Anti-model Testing) 


软件 测试 通过 运行 一 组 精 选 的 测试 用 例 , 根 据 对 执行 结果 的 观察 ,动态 验证 系统 行为 ， 
其 中 测试 用 例 的 精心 选择 可 以 基于 代码 ( 白 盒 测试 或 结构 化 测试 )、 基 于 需求 (验收 测试 ) 、 基 
于 规格 说 明 ( 黑 盒 测试 ) 以 及 设计 模型 (基于 模型 的 测试 ) 等 。 

基于 模型 的 软件 测试 是 通过 描述 软件 的 模型 来 获得 测试 用 例 ,这 个 模型 可 以 来 自 规格 
说 明 或 者 是 由 软件 工程 师 用 图 形 工具 设计 出 来 的 。 一 般 来 说 ,测试 用 例 可 以 由 这 些 工具 自 
动 生成 。 通 过 执行 这 些 自动 生成 的 测试 用 例 ,可 以 确认 实现 的 系统 是 否 满足 规格 说 明 的 要 
求 。 尽 管 基于 模型 的 软件 测试 非常 有 用 ,也 非常 有 效 ,但 在 很 多 情况 下 不 太 好 用 ,原因 有 3 
个 : 一 是 形式 化 模型 的 建立 和 使 用 对 人 们 的 要 求 比较 高 ,一 般 需 要 人 们 精通 形式 化 方法 和 
工具 ,形式 化 理论 方法 和 工具 往往 都 比较 复杂 ; 二 是 模型 一 般 都 是 对 系统 一 定 程度 的 抽 
象 ,由 模型 产生 的 测试 用 例 一 般 不 能 直接 测试 ,需要 进行 进一步 处 理 , 使 其 更 加 具体 ; 三 是 
在 某 些 领域 ,如 一 些 遗产 系统 或 组 件 系统 ,没有 现成 的 关于 软件 的 形式 化 模型 可 用 。 

反 模 型 测试 方法 与 基于 模型 的 测试 方法 相反 , 它 一 开始 没有 模型 可 用 ,通过 执行 一 些 抽 
样 出 来 的 测试 用 例 ,观察 系统 行为 ,并 将 这 些 信息 综合 起 来 ,通过 分 析 推 理 形 成 关于 系统 的 
一 个 抽象 模型 。 无 论 基 于 模型 的 测试 还 是 反 模型 测试 ,最 后 都 会 有 一 个 关于 系统 的 模型 在 
一 边 , 另 一 边 是 系统 的 实现 ,然后 通过 测试 执行 ,确定 系统 实现 与 系统 模型 是 否 一 致 

图 5-17 给 出 了 反 模 型 测试 方法 的 基本 步骤 如 下 : 

(1) 是 在 待 测试 软件 的 模型 无 法 知道 的 情况 下 ,要 根据 待 测试 软件 的 使 用 剖面 等 可 以 
获得 的 信息 ,抽样 选取 一 些 适当 的 测试 用 例 ,并 给 出 预期 输出 。 

(2) 执行 测试 用 例 ,收集 执行 轨迹 信息 ,可 以 通过 一 些 监控 程序 完成 信息 的 收集 工作 。 

(3) 分 析 收 集 到 的 执行 信息 ,合成 系统 模型 ,如 果 已 经 有 一 个 初步 模型 ,需要 核实 确认 
这 个 初步 模型 的 正确 性 ,如 果 存 在 问题 ,需要 修正 这 个 模型 。 

(4) 根据 得 到 的 模型 进一步 选择 测试 用 例 , 转 第 (2) 步 ,继续 执行 测试 用 例 , 收 集 执行 轨 
迹 信 息 ,到 第 (3) 步 ,确认 模型 正确 性 、 修 正 模型 等 ,直到 测试 资源 耗 尽 或 者 测试 人 员 满 意 测 
试 结果 ,测试 结束 。 


(3) 利用 执行 信息 、 
(D 根据 使 用 剖面 ， 利用 执行 信和 (4) 根据 行为 模型， 
i 天 ET 选取 测试 用 例 


选取 测试 用 例 


图 5-17 反 模型 测试 方法 的 步 又 


第 5 章 ”特殊 的 软件 测试 技术 


习题 5.23 
反 模型 测试 与 基于 模型 的 测试 区 别 是 什么 ? 


6.24 成 分 测试 (Compositional Testing) 


软件 规模 和 复杂 性 的 增加 已 经 成 为 软件 测试 研究 和 发 展 的 重要 挑战 ,人 们 利用 解决 复 
杂 问 题 的 传统 方法 一 一 分 治 法 ,把 复杂 的 大 规模 软件 测试 分 解 为 测试 该 软件 的 各 个 组 成 成 
分 ,其 实 基于 组 件 的 软件 开发 就 是 把 开发 复杂 的 大 规模 软件 开发 分 而 治之 ,专心 开发 各 个 组 
成 部 件 ,然后 把 这 些 部 件 集成 起 来 ,组 成 要 开发 的 软件 系统 。 人 们 已 经 提出 很 多 技术 和 工具 
来 递增 地 测试 这 些 软 件 组 成 成 分 。 例 如 ,人 们 提出 很 多 测试 顺序 及 测试 策略 ,以 达到 最 少 使 
用 驱动 模块 和 桩 模块 。 成 分 测试 的 一 个 重要 课题 就 是 , 当 软 件 每 个 部 件 已 经 得 到 充分 测试 
之 后 ,如 何在 集成 测试 过 程 重用 这 些 信息 ,如何 利用 每 个 成 分 的 质量 信息 ,结合 系统 集成 测 
试 信息 ,推理 整个 系统 的 质量 水 平 。 基 于 组 件 的 软件 测试 就 是 一 种 成 分 测试 。 到 目前 为 止 ， 
人 们 对 于 各 个 组 成 成 分 的 正确 性 与 整个 系统 的 正确 性 的 关系 ,以 及 在 各 个 组 件 充 分 测试 之 
后 ,还 要 进行 多 大 程度 的 集成 测试 ,怎样 设计 集成 测试 等 问题 还 不 是 十 分 清楚 。 


习题 5.24 
为 什么 要 进行 成 分 测试 ? 


€.%5 有 限 状态 机 测试 (FSM Testing) 


有 限 状态 机 (Finite State Machine, FSM) 作为 一 种 形式 建 模 语言 已 被 广泛 用 于 描述 软 
件 的 需求 ,基于 FSM 的 测试 方法 亦 被 广泛 研究 。 

由 FSM 产生 测试 用 例 的 思想 来 源 于 有 向 图 的 遍历 。 基 于 图 形 覆 盖 的 程度 , 研究 人 员 
提出 了 状态 覆盖 和 迁移 覆盖 两 类 基本 覆盖 ,并 给 出 了 由 状态 覆盖 和 迁移 覆盖 生成 测试 用 例 
的 方法 。 依 据 有 向 图 的 遍历 方法 , 由 初 态 开始 遍历 FSM, 生成 一 棵 广度 优先 生成 树 , 再 获 
得 由 树 根 结 点 到 叶子 结 点 的 迁移 序列 作为 测试 用 例 。 迁 移 之 间 可 能 存在 一 些 约束 关系 , 例 
如 ,BBS 论坛 中 存在 两 类 访客 , 一 类 是 未 注册 的 游客 , 另 一 类 为 注册 用 户 。 注 册 用 户 可 以 发 
表 帖 子 和 浏览 其 他 用 户 的 帖子 , 而 游客 只 能 浏览 已 发 表 的 帖子 , 因此 注册 用 户 与 发 表 帖子 
之 间 存 在 约束 关系 。 

软件 测试 中 可 能 存在 一 类 额外 迁移 错误 , 即 描述 需求 的 规格 说 明 中 并 没有 这 些 迁 移 ， 
而 实际 应 用 中 却 存在 这 些 额 外 的 迁移 。 在 某 些 情况 下 , 这 些 额 外 的 迁移 会 导致 系统 的 崩 
溃 。 例 如 1999 年 12 月 3 日 ,美国 航天 局 火星 极地 登录 者 号 探测 器 飞船 在 试图 登录 火星 表 
面 时 失踪 。 错 误 修 正 委员 会 观测 到 故障 , 认定 出 现 失误 动作 的 原因 极 有 可 能 是 某 一 个 数据 
被 意外 更 改 。 这 表明 该 系统 中 至 少 存在 一 条 额外 迁移 , 在 正常 情况 下 , 这 条 额外 迁移 并 不 
会 被 执行 ,但 在 特定 情况 下 , 这 条 额外 迁移 的 执行 会 导致 系统 运行 出 错 。 前 面 讨论 的 基于 
FSM 的 测试 方法 均 不 能 探测 到 这 类 错误 , 因为 上 述 方法 都 是 由 规格 说 明 导 出 测试 用 例 , 而 
额外 迁移 仅仅 出 现在 实际 应 用 中 , 因此 ,由 规格 说 明 产生 的 测试 序列 并 不 能 激活 实际 应 用 
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中 的 额外 迁移 。 虽然 额外 迁移 的 错误 已 经 超出 了 基于 FSM 的 测试 能 力 , 但 仍然 存在 少量 
基于 FSM 的 测试 方法 能 够 探测 这 类 错误 。 例 如 随机 测试 生成 方法 , 该 方法 随机 产生 测试 
输入 , 直到 FSM 中 的 所 有 迁移 都 被 至 少 覆 盖 一 次 。 传 统 随机 测试 生成 方法 直接 由 规格 说 
明 随 机 产 出 覆盖 FSM 的 测试 序列 , 因此 同样 也 不 能 发 现 额外 迁移 错误 。 


习题 5.25 
什么 是 FSM? 查阅 FSM 方面 的 资料 ,更 全 面 地 了 解 FSM 测试 的 理论 .方法 和 应 用 。 


6.26 基于 Petri 网 的 测试 (Petri Net Based Testing) 


Petri 网 是 一 种 图 形 化 的 形式 化 语言 表示 法 , 该 方法 采用 具有 形式 语义 的 图 形 语言 ， 

有 严格 的 数学 定义 ,又 有 直观 的 图 形 表示 。 图 形 化 表示 法 易于 理解 ,而 且 非 专业 人 员 能 够 
使 用 ,严格 的 数学 定义 使 其 具备 严密 性 、 逻 辑 性 和 精确 性 ,因此 是 一 种 通用 的 系统 确定 表示 
法 ,适合 于 描述 异步 并 发 现象 的 系统 模型 。 

作为 建 模 工 具 的 一 种 ,Petri 网 是 1962 年 由 Petri C. A 在 他 的 博士 论文 中 作为 网 状 结 
构 的 信息 流 模型 提出 来 的 。 近 年 来 , Petri 网 以 及 它 的 各 种 改进 模型 如 有 色 Petri 网 等 被 广 
泛 地 应 用 到 了 众多 复杂 系统 的 离散 事件 仿真 模型 搭建 工作 中 , 为 离散 事件 的 仿真 提供 了 不 
少 新 的 方法 。 相 对 于 传统 的 马尔 可 夫 链 等 建 模 方法 ， Petri 网 作为 一 种 形式 化 方法 ， 它 能 分 
析 系 统 软 硬 件 中 多 方面 的 特性 ,如 功能 性 、 安 全 性 、 可 靠 性 、 实 时 性 等 。 

如 何 系 统 有 效 地 进行 基于 Petri 网 的 软件 测试 一 直 是 人 们 研究 的 热点 ,这 个 问题 包括 
包括 3 个 方面 : 如 何 定义 基于 Petri 网 的 可 以 客观 度量 的 测试 标准 ? 怎样 根据 Petri 网 自动 
有 效 地 生成 测试 用 例 ? 如 何 有 效 地 控制 整个 测试 过 程 ? 

一 方面 ,由 于 Petri 网 作为 软件 系统 的 描述 模型 , 它 可 以 作为 待 测试 软件 的 一 种 规格 说 
明 , 因 此 可 以 基于 Petri 网 的 软件 测试 可 以 作为 一 种 基于 规格 说 明 的 软件 测试 ,测试 时 , 根 
据 Petri 网 提供 的 需求 描述 信息 来 设计 测试 用 例 ,进行 基于 规格 说 明 的 测试 或 者 黑 盒 测试 。 
另 一 方面 ,Petri 网 是 一 种 可 以 执行 的 模型 ,需要 根据 其 他 规格 说 明 设 计 测 试用 例 ,验证 该 
Petri 网 模型 是 否 正确 ,或 者 根据 Petri 网 模型 设计 测试 用 例 验证 是 否 与 其 他 规格 说 明 一 致 ， 
进行 所 谓 的 白 盒 测试 ( 基 于 程序 的 测试 ) 。 

目前 关于 基于 Petri 网 的 软件 测试 ,人 们 提出 了 面向 状态 的 测试 面向 迁移 的 测试 、 面 
向 数据 流 的 测试 和 面向 规格 说 明 的 测试 4 种 方法 。 这 几 种 方法 都 是 传统 的 黑 盒 测试 和 和 白 盒 
测试 在 把 Petri 网 模型 分 别 作为 软件 规格 说 明和 可 执行 程序 时 的 应 用 。 更 多 内 容 可 以 参考 
第 2 章 中 的 各 节 , 例 如 ,第 2. 1.4 小 节 中 数据 流 测 试 ,第 2. 2. 5 小 节 中 状态 转换 测试 等 。 

基于 Petri 网 的 软件 测试 与 基于 FSM 的 软件 测试 有 着 很 大 的 相似 性 ,这 两 种 模型 有 着 
根本 的 不 同 , 例 如 ,FSM 一 般 是 顺序 性 的 , 它 定义 的 状态 一 般 都 是 全 局 的 状态 ; 而 Petri 网 
一 般 是 并 行 的 , 它 定 义 的 状态 一 般 都 是 分 布 式 的 。 


习题 5.26 


什么 是 Petri 网 ? 查阅 Petri 网 方面 的 资料 ,更 全 面 地 了 解 Petri 网 的 理论 ,方法 和 
应 用 。 
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€.97 基于 模型 检查 的 测试 (Model Checking Based Testing) 


模型 检测 的 研究 始 于 21 世纪 80 年 代 初 ,当时 Clarke、Emerson 等 人 提出 了 用 于 描述 并 
发 系统 性 质 的 CTL(Computation Tree Logic, 计 算 树 逻辑 ) 逻 辑 , 设 计 了 检测 有 穷 状态 系统 
是 否 满足 给 定 CTL 公式 的 算法 ,并 实现 了 一 个 原型 系统 。 这 一 工作 为 对 并 发 系统 的 性 质 自 
动 进 行 验证 开辟 了 一 条 新 的 途径 ,成 为 近 20 年 来 计算 机 科学 基础 研究 的 一 个 热点 。 随 后 不 
久 出 现 的 符号 模型 检测 技术 使 这 一 方法 向 实际 应 用 性 迈 出 了 关键 的 一 步 。 

模型 检测 的 基本 思想 是 用 状态 迁移 系统 (S) 表 示 系 统 的 行为 ,用 模 态 /时 序 迎 辑 公式 
(F) 描 述 系统 的 性 质 。 这 样 “ 系 统 是 否 具 有 所 期 望 的 性 质 ?” 就 转化 为 数学 问题 “状态 迁移 系 
统 S 是 否 是 公式 下 的 一 个 模型 ?”, 用 公式 表示 为 *S F?”。 对 有 穷 状 态 系统 ,这 个 问题 是 可 
判定 的 , 即 可 以 用 计算 机 程序 在 有 限时 间 内 自动 确定 。 

早期 的 模型 检测 侧重 于 硬件 设计 的 验证 , 随 着 研究 的 进展 ,模型 检测 的 应 用 范围 逐步 扩 
大 ,涵盖 了 通信 协议 ,安全 协议 ,控制 系统 和 一 部 分 软件 。 电 子 线路 设计 验证 的 例子 包括 先 
进 先 出 存储 器 的 验证 ,验证 的 性 质 包 括 输 入 和 输出 的 关系 。 浮 点 运算 部 件 的 验证 ,验证 的 性 
质 包 括 计算 过 程 所 需 满足 的 不 变 式 。 

对 于 复杂 的 协议 和 软件 ,模型 检测 的 验证 基于 抽象 和 简化 的 模型 ,从 验证 角度 来 讲 , 这 
并 非 十 分 严谨 。 更 为 确切 的 说 法 应 该 是 协议 和 软件 的 分 析 。 协 议 验证 的 例子 包括 认证 协议 
的 验证 ,验证 的 性 质 包 括 对 通话 双方 的 确认 ; 合同 协议 的 验证 ,验证 的 性 质 包 括 公 平和 滥用 
的 可 能 性 ; 缓存 协议 的 验证 ,验证 的 性 质 包 括 数据 的 一 致 性 和 读 写 的 活性 。 对 于 软件 ,由 于 
软件 的 复杂 和 软件 运行 中 可 能 到 达 的 状态 个 数 通常 没有 实质 上 的 限制 ,验证 通常 局 限于 软 
件 的 某 些 重要 组 成 部 分 。 软 件 验证 的 例子 包括 飞行 系统 软件 的 验证 ,验证 的 性 质 包 括 系统 
所 处 的 状态 和 可 执行 动作 之 间 的 关系 ; 铁路 信号 系统 软件 的 验证 ,验证 的 性 质 包 括 控制 信 
号 与 控制 装置 状态 的 关系 。 模 型 检测 还 可 以 应 用 于 其 他 方面 ,其 基本 思想 是 将 一 个 过 程 或 
系统 抽象 成 一 个 有 穷 状态 模型 ,加 以 分 析 验 证 。 这 方面 的 例子 包括 化 学 过 程 验证 ,验证 的 性 
质 包括 阀门 .管道 和 容器 的 状况 ; 公司 操作 过 程 分 析 ,分析 的 内 容 包括 操作 过 程 是 否 具 有 所 
需 的 功能 ; 电站 操作 程序 的 验证 ,验证 的 性 质 包括 操作 程序 的 动作 前 后 关系 和 操作 是 否 安 
全 可 靠 。 

测试 是 保证 软件 产品 可 靠 性 和 正确 性 的 传统 手段 ,与 模型 检测 不 同 ,测试 是 对 选 定 的 输 
入 数据 集运 行 系统 ,通过 比较 所 产生 的 输出 与 预期 值 来 判断 系统 是 否 会 有 错误 。 测 试 的 主 
要 局 限 性 在 于 : 对 给 定数 据 集 通过 了 测试 并 不 能 保证 在 实际 运行 中 对 其 他 输入 不 发 生 
错误 。 

与 测试 不 同 ,模型 检测 不 是 针对 某 组 输入 ,而 是 面向 某 类 性 质 来 检查 系统 是 否 合乎 规 
约 。 在 系统 不 满足 所 要 求 的 性 质 时 ,模型 检测 算法 会 产生 一 个 反例 (一 般 是 一 条 执行 路 径 ) 
来 说 明 不 满足 的 原因 。 这 一 功能 与 测试 有 异曲同工 之 处 。 如 何 将 模型 检测 与 测试 技术 相 结 
合 ,使 两 者 相辅相成 ,是 一 个 十 分 值得 注意 的 研究 方向 。 

模型 检测 在 硬件 和 通讯 协议 的 分 析 与 验证 中 已 经 取得 了 很 大 的 成 功 , 如 何 将 这 一 技术 
应 用 于 软件 ,是 目前 非常 活跃 的 研究 领域 。 软 件 由 于 涉及 无 穷 数 据 域 上 的 运算 而 往往 呈现 
出 无 穷 状 态 ,这 是 软件 模型 检测 的 主要 难点 ,但 是 很 多 系统 (如 控制 软件 ) 并 不 涉及 复杂 的 数 
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值 计算 ,往往 只 用 到 线性 实数 约束 或 整数 加 减 等 简单 的 运算 ,因此 可 以 采用 诸如 线性 约束 求 
解 等 技术 实现 模型 检测 ,另外 也 可 应 用 抽象 等 技术 映射 到 有 穷 域 上 进行 模型 检测 。 


习题 5.27 
查阅 模型 检测 方面 的 资料 ,了 解 模型 检测 的 理论 方法 和 应 用 。 


G6.28 TTCN 测试 (TTCN Testing) 


TTCN(Testing and Test Control Notation) 是 一 种 用 于 测试 的 编程 语言 ,特别 是 用 于 
通信 协议 测试 和 Web 服务 测试 。TTCN 测试 用 例 集 是 一 组 利用 TTCN 编程 语言 编写 的 测 
试用 例 组 成 的 集合 。TTCN-1 和 TTCN-2 都 是 利用 树 和 表 来 表示 的 (此 时 TTCN 是 Tree 
and Table Combined Notation 的 缩写 ),TTCN-3 比较 灵活 ,可 以 用 于 一 般 的 软件 测试 ,而 不 
仅仅 是 协议 测试 。 

TTCN 是 由 ISOVIEC 9646 和 ITUX. 292 系列 所 提出 的 实现 OSI 与 ITU 协议 定义 的 
一 致 性 测试 方法 的 标准 。 由 于 TTCN 集成 开发 环境 ITEX(Interactive TTCN Editor and 
eXecutor) 能 够 自动 生成 ANSI C 的 测试 代码 ,因此 测试 的 主要 工作 量 集中 在 利用 形式 化 语 
言 描述 测试 流程 上 ,这 同时 避免 了 由 于 手工 编程 可 能 导致 的 错误 。 测 试 过 程 出 现 的 问题 可 
由 ITEX 生成 相应 的 测试 报告 ,减少 跟踪 调试 程序 的 工作 量 。 并 且 所 有 与 具体 平台 相关 的 
代码 都 被 集中 在 测试 的 内 核 中 。 因 此 ,TTCN 所 生成 的 测试 模块 可 重用 性 好 、 容 易 维护 。 
TTCN 与 ASN. 1(Abstract Syntax Notation. 1) 兼 容 ,ASN. 1 属于 国际 标准 ISO/VIEC 8824 
系列 ,是 开放 系统 互联 (OSD) 的 关键 组 成 部 分 之 一 ,由 于 两 者 的 兼容 性 ,使 TTCN 的 应 用 更 
加 广泛 。 

然而 ,最 初 的 TTCN 不 能 设计 和 描述 并 行 行为 ,人 们 很 快意 识 到 对 TTCN 的 并 行 能 力 
的 扩展 的 重要 性 和 迫切 性 。 这 也 是 TTCN-2 出 现 的 直接 原因 。 尽 管 在 TTCN-2 中 做 了 扩 
展 ,但 是 对 于 新 出 现 的 不 同 领域 的 不 同 种 类 的 测试 仍 存 在 很 多 缺陷 和 不 足 ,STF (Special 
Task Force) 133 等 从 1998 年 开始 研究 新 版 TTCN, 到 2000 年 10 月 完成 ,新 版 的 TTCN 
命名 为 Testing and Test Control Notation version 3(TTCN-3) 。 

TTCN-3 最 顶层 单元 是 模块 , 它 内 部 不 能 再 有 子 模 块 。TTCN-3 模块 之 间 相 互 独立 , 它 
们 可 以 通过 Import 语义 共享 数据 定义 。 一 个 测试 套 就 是 一 个 模块 。 一 个 模块 有 两 部 分 : 
定义 部 分 和 控制 部 分 。 定 义 部 分 定义 了 测试 组 件 .通讯 端口 、 数 据 类 型 .常量 .测试 数据 模 
板 、 函 数 .端口 程 序 呼叫 信号 .测试 用 例 等 。 控 制 部 分 包含 局 部 变量 定义 .调用 测试 用 例 并 控 
制 其 执行 顺序 。 

TTCN-3 规范 对 TTCN-3 测试 系统 的 概念 模型 进行 了 描述 。TTCN-3 测试 系统 由 一 
组 具有 特定 功能 的 实体 组 成 。 这 些 实体 管理 测试 的 顺序 ,解释 和 执行 已 经 编译 过 的 TTCN-3 
代码 ,实现 和 被 测 系 统 的 正确 通信 以 及 实现 外 部 函数 (在 TTCN-3 模块 外 面 定 义 , 在 模块 中 
申明 为 外 部 函数 ) 和 处 理 定时 器 的 操作 等 。TTCN-3 测试 系统 分 解 为 测试 管理 (Test 
Management,TM) ,测试 执行 实体 (TTCN-3 Executable, TE)、SUT 适配器 (System Under 
Test Adapter,SA) 和 测试 平台 适配器 (Platform Adaptor,PA) 。 
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TTCN-3 测试 系统 中 的 两 个 主要 的 接口 : TTCN-3 控制 接口 (TTCN-3 Control 
Interface,TCD 和 TTCN-3 运行 时 接口 (TTCN-3 Runtime Interface, TRD 。 它 们 分 别 制定 
了 TM 和 TE 之 间 的 接口 ,以 及 TE 与 适配器 (SA 和 PA) 之 间 的 接口 。 目 前 ,TTCN-3 规范 
只 对 TRI 进行 了 接口 定义 ,而 给 予 测 试 工具 提供 商 在 测试 系统 的 实现 中 很 大 的 灵活 性 。 而 
一 般 情况 下 ,TRI 需要 由 Java 或 C/C++ 等 语言 来 开发 。 

TTCN-3 可 以 用 作 多 种 通信 端口 上 的 各 种 响应 系统 测试 的 描述 语言 。 典 型 的 应 用 领域 
是 协议 测试 (包括 移动 协议 和 互联 网 协议 )、 服 务 测试 (包括 增补 服务 )、 模 块 测试 等 。 
TTCN-3 并 不 仅仅 局 限于 一 致 性 测试 , 它 可 用 于 多 种 类 型 的 测试 ,如 互 操作 性 测试 
(Interoperability Testing ) ,性 能 测试 (Performance Testing ) 、 鲁 棒 性 测试 (Robustness Testing ) 、 
回归 测试 (Regression Testing) 、 系 统 和 集成 测试 (System and Integration Testing)。 

关于 TTCN 的 更 多 内 容 可 以 查阅 http://www. ttcn-3. net, 或 者 维基 百科 等 。 


习题 5.28 
查阅 TTCN 方面 的 资料 ,了 解 TTCN 的 理论 .方法 和 应 用 。 


63 布尔 规格 测试 (Boolean Specification Testing) 


在 软件 规格 说 明 中 ,布尔 表达 式 一 直 是 人 们 关注 的 焦点 ,因为 布尔 表达 式 非常 容易 引入 
错误 。 在 航空 医疗 以 及 一 些 控制 软件 等 重要 的 安全 关键 软件 中 ,布尔 表达 式 可 以 用 作 描 述 
规格 的 条 件 、 模 型 谓词 以 及 巡 辑 表达 式 等 ,如 何 根据 这 些 布尔 表达 式 设 计 测试 用 例 来 测试 根 
据 这 些 布尔 规格 说 明 建 立 起 来 的 软件 ,并 发 现 其 中 隐藏 的 错误 是 布尔 规格 测试 的 关键 问题 。 

处 于 程序 或 者 规格 说 明 中 的 布尔 谓词 p, 如 果 它 包含 个 布尔 变量 ,需要 验证 p 的 正确 
性 的 测试 用 例 就 需要 2" 条 ,一 般 情况 下 ,布尔 变量 的 个 数 n 是 比较 大 的 ,例如 ,在 一 个 电子 
航班 系统 中 ,就 有 30 多 个 条 件 变量 。 因 此 对 布尔 规格 进行 遍历 测试 一 般 是 不 可 行 的 ,必须 
要 采用 一 些 科学 有 效 的 方法 进行 低 成 本 的 测试 。 常 用 的 测试 方法 包括 因果 图 法 ( 详 见 第 2. 2. 3 
小 节 ) ,修改 决策 条 件 方法 (MC/DC, 详 见 第 2. 1.7 小 节 )。 一 个 非常 重要 的 方法 是 基于 故障 
类 型 的 测试 方法 , 表 5-6 列 出 了 各 种 错误 类 型 的 定义 和 实例 。 

表 5-6 布尔 表达 式 的 错误 类 型 及 实例 


错误 类 型 解 释 以 (a 十 b) (一 a 十 c) 为 例子 
Operator Reference Fault (ORF) 运算 符 十 被 。 错 误 代替 ,或 相反 (ab)( 一 a 十 c) 
Expression Negation Fault (ENF) 表达 式 被 错误 取 反 了 (a 十 DC 一 a 十 c) 
Variable Negation Fault (VNF) 原子 变量 被 错误 取 反 (Tatb)( mate) 
Associative Shift Fault (ASF) 结合 错误 ,如 括号 范围 实现 错误 (at+(670)+o) 
Missing Variable Fault (MVF) 表达 式 中 变量 丢失 bmate) 
Variable Reference Fault (VRF) 表达 式 中 变量 引用 错误 (ata) (mate) 
Clause Conjunction Fault (CCF) 变量 a 被 c 5 代替 (ap 十 0)( 一 a 十 c) 
Clause Disjunction Fault (CDF) 变量 a 被 a 十 c 代替 (a+tc+b) (mate) 
Stuck at 0(SAO) 变量 a 被 0 代替 0 


Stuck at 1(SA1) 变量 a 被 1 代替 be 
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这 些 错误 类 型 之 间 具 有 如 图 5-18 所 示 的 相互 包含 关系 ,在 测试 过 程 中 可 以 根据 具体 的 
测试 要 求 选择 合适 的 测试 标准 进行 测试 。 


图 5-18 错误 类 型 之 间 的 相互 关系 


习题 5.29 
查阅 相关 参考 文献 ,系统 了 解 布尔 规格 说 明 测 试 的 有 关 研 究 。 


6.30 基于 统一 建 模 语言 测试 (UML Based Testing) 


UML(Unified Modeling Language) 是 一 种 可 视 化 的 面向 对 象 系统 建 模 描述 工具 , 它 继 
承 了 Booch、Jacobson 和 Rumbaugh 等 人 提出 相关 概念 和 方法 ,于 1997 年 被 OMG(Object 
Management Group) 组 织 采纳 为 面向 对 象 系统 的 建 模 标准 。UML 为 软件 需求 分 析 、 设 计 
等 不 同 阶段 提供 了 各 种 图 形 工具 ,可 以 描述 和 表达 各 种 用 户 需求 和 系统 设计 。 

随 着 面向 对 象 方法 日 益 得 到 重视 和 应 用 ,人 们 提出 了 面向 对 象 软件 的 测试 方法 ,而 
UML 是 常用 的 面向 对 象 系统 建 模 工 具 , 因 此 ,有 必要 建立 基于 UML 的 测试 方法 。 所 谓 基 
于 UML 的 测试 ,就 是 应 用 待 测试 软件 系统 的 UML 模型 来 获得 软件 测试 的 需求 和 覆盖 准 
则 。UML 中 使 用 以 下 图 形 : 

(1) 用 例 图 (User Case Diagram) 。 描 述 软件 系统 的 功能 和 使 用 者 。 

(2) 类 图 (Class Diagram) 。 描 述 软件 系统 中 类 的 静态 结构 。 

(3) 对 象 图 (Object Diagram) 。 描 述 软件 系统 在 某 个 时 刻 的 静态 结构 。 

(4) 包 图 (Package Diagram) 。 把 设计 元 素 进 行 分 组 的 一 种 通用 组 织 机 制 。 

(5) 序列 图 (Sequence Diagram) 。 按 时 间 顺 序 描述 软件 系统 对 象 之 间 ,软件 系 统 与 外 
部 环境 之 间 的 交互 。 

(6) 协作 图 (Collaboration Diagram) 。 按 时 空 顺序 描述 软件 系统 对 象 间 的 交互 和 协作 
关系 ,可 与 序列 图 相互 转换 ,统称 交互 图 。 

(7) 状态 图 (Statechart Diagram) 。 描 述 系统 对 象 状态 及 其 迁移 关系 。 

(8) 活动 图 (Activity Diagram) 。 描 述 软 件 系统 中 各 种 活动 的 流程 。 

(9) 构件 图 CComponent Diagram) 。 描 述 了 软件 系统 实现 的 物理 结构 。 

(10) 部 署 图 (Deployment Diagram) 。 描 述 了 软件 系统 在 硬件 环境 ,特别 是 网 络 或 分 布 
式 环境 中 的 配置 关系 。 
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针对 以 上 各 种 UML 图 形 ,人 们 提出 了 相应 的 测试 充分 性 准则 ,例如 ,类 图 测试 充分 性 
准则 包括 3 种 : 关联 乘法 准则 要 求 每 个 与 该 类 关联 的 类 组 合 对 都 要 被 测试 到 ; 类 泛 化 准则 
要 求 每 个 类 的 具体 实现 都 要 被 测试 到 ; 类 属性 准则 要 求 每 个 类 属性 都 要 被 测试 到 。 用 例 图 
准则 要 求 每 个 用 例 步 又, 用 例 场 景 或 者 用 例 路 径 都 需要 被 覆盖 等 不 同 标准 。 实 际 上 也 是 把 
UML 分 别 作为 规格 说 明和 程序 本 身 进 行 黑 盒 和 白 盒 测试 而 提出 各 种 相应 的 测试 标准 ,这 
里 不 再 费 述 。 


习题 5.30 
什么 是 UML? 查阅 UML 方面 的 资料 ,更 全 面 地 了 解 UML 和 它 的 应 用 。 


特定 应 用 软件 (X 软 件 ) 的 测试 


为 了 提高 软件 开发 的 效率 、 降 低 成 本 和 保证 软件 质量 ,人 们 提出 了 很 多 新 的 开发 方法 ， 
利用 这 些 方法 开发 的 软件 ,如 面向 对 象 软件 、 面 向 方面 软件 、 面 向 服务 软件 和 构件 软件 等 ,与 
传统 的 软件 既 保持 着 很 大 的 相似 性 ,又 有 着 非常 明显 的 特殊 性 。 同 时 , 随 着 软件 应 用 领域 的 
扩展 ,特别 是 网 络 技术 的 发 展 ,产生 了 一 批 适用 不 同 应 用 场景 的 软件 ,例如 ,嵌入 式 软件 、 
Web 应 用 软件 、 云 计算 环境 下 的 软件 、 物 联网 环境 下 的 软件 、 普 适 计算 环境 下 的 软件 、 多 核 
并 行 软件 等 ,特别 是 , 近 几 年 来 人 们 提出 了 高 可 信和 软件 的 概念 ,给 软件 测试 提出 了 很 多 新 的 
挑战 。 

无 论 使 用 什么 新 方法 开发 的 软件 ,无 论 是 运行 在 什么 样 平台 上 的 软件 ,它们 都 要 在 开发 
的 不 同 阶段 (适用 第 3 章 开发 过 程 中 的 测试 ) ,针对 软件 不 同方 面 (适用 第 4 章 软 件 特性 及 各 
方面 的 测试 ) ,利用 不 同 测试 技术 (适用 第 5 章 特殊 的 软件 测试 技术 ) 进 行 黑 盒 测试 和 白 盒 测 
试 (适用 第 2 章 白 盒 测试 和 黑 盒 测试 ) 。 

本 章 将 分 别 介绍 这 些 面 向 新 开发 方法 以 及 新 运行 平台 的 X- 软 件 进行 开 测 试 的 方法 ， 
针对 这 些 X- 软 件 的 天 测试 方法 ,已 经 有 一 些 专门 的 著作 介绍 ,因此 本 书 只 注重 介绍 X- 软 件 
的 特殊 性 ,而 对 达 测 试 很 多 共性 的 内 容 将 不 再 袭 述 。 

这 里 对 XX 软件 进行 开 测 试 可 以 进行 如 下 具体 表述 ， 

软件 X={ 面 向 对 象 ,面向 服务 ,面向 方面 ,构件 , 普 适 计算 , Web, 云 计算 , 物 联网 ， 
典 入 式 ,并 行 ,高 可 信 , 网 构 } ,本 章 将 逐一 介绍 。 

产 测 试 ” 在 不 同 开发 阶段 可 以 表示 为 Y= {单元 ,集成 ,系统 ,回归 ,验收 ,a,B,Y}) , 详 见 
第 3 章 。 

针对 X- 软 件 的 不 同方 面 进行 的 关 测 试 ,Y= 二 {负载 ,压力 ,性 能 ,可 靠 性 ,容量 ,安装 ,可 
用 性 ,稳定 性 ,本 地 化 和 国际 化 ,可 访问 性 ,授权 ,一 致 性 ,配置 ,文档 ,兼容 性 ,接口 ,可 恢复 
性 ,健壮 性 ,协议 ,在线 帮助 ,能 力 , 印 载 ,备份 ,数据 转换 ,人 机 界面 ,Playtest, 容 错 , 余 量 , 穿 
越 }, 详 见 第 4 章 。 

对 蕊 软件 使 用 不 同 开 测 试 技术 时 ,Y={ 组 合 , 晓 变 ,基于 规格 说 明 的 ,基于 模型 的 , 基 
于 错误 的 ,基于 搜索 的 ,统计 ,基于 操作 剖面 的 ,变异 ,基于 性 质 的 ,极限 ,模糊 ,适应 性 ,图 形 
用 户 界面 ,随机 ,在 线 , 探 索性 ,成 分 ,有 限 状 态 机 ,Petri 网 ,TTCN,UML,Concolic, 结 对 , 反 
模型 , 反 随机 , 自 适应 随机 ,布尔 规格 ,基于 模型 检验 的 } , 详 见 第 5 章 。 

同时 ,区 测试 也 可 以 宏观 地 表示 为 黑 盒 测试 和 和 白 盒 测试 ,7 一 { 黑 盒 , 白 盒 ), 而 黑 盒 测试 
包括 等 价 类 划分 .边界 值 分 析 、 因 果 图 和 决策 表 、 错 误 猜 测 状态 转换 、 语 法 测试 等 6 项 技术 ， 
白 盒 测试 包括 语句 覆盖 .路 径 覆 盖 等 10 项 不 同 程度 的 白 盒 测试 技术 ,详细 见 第 2 章 。 
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@.1 面向 对 象 软件 的 测试 (Object Oriented Software Testing ) 


面向 对 象 技 术 在 软件 工程 中 的 推广 使 用 ,使 得 传统 的 测试 技术 和 方法 受到 了 极 大 的 冲 
击 ,对 面向 对 象 技术 所 引入 的 新 特点 ,传统 的 测试 技术 已 经 无 法 有 效 地 对 面向 对 象 软件 进行 
测试 ,因此 ,必须 针对 面向 对 象 程序 的 特点 ,研究 相应 的 测试 方法 和 测试 策略 。 


1. 面向 对 象 软件 基础 


面向 对 象 可 以 看 成 是 现实 世界 模型 的 自然 延伸 ,现实 世界 中 的 任何 实体 都 可 以 看 成 是 
对 象 。 传 统 的 过 程式 编程 语言 是 以 过 程 为 中 心 , 以 算法 为 驱动 ,在 过 程式 语言 中 ,程序 = 算 
法 十 数据 ; 面向 对 象 的 编程 语言 是 以 对 象 为 中 心 ,以 消息 为 驱动 ,在 面向 对 象 的 语言 中 , 程 
序 二 对 象 十 消息 。 面 向 对 象 的 软件 开发 以 对 象 类 继承、 多 态 、 消 息 和 接口 6 个 重要 的 基本 
概念 为 核心 。 
(1) 对 象 (Object) 是 一 个 可 操作 的 实体 , 既 包 含 了 特定 的 数据 (属性 ) ,也 包含 操作 这 些 
数据 的 代码 (方法 ) ,对 象 是 一 个 独立 的 基本 的 可 计算 实体 ,程序 由 很 多 对 象 组 成 ,对 象 之 间 
通过 消息 相互 作用 。 在 测试 过 程 中 ,对 象 是 测试 的 重要 目标 ,例如 ,在 程序 运行 时 ,对 象 的 行 
为 是 否 符 合 规格 说 明 ? 对 象 是 否 能 够 与 相关 对 象 进 行 协同 工作 ? 针对 对 象 的 测试 要 考虑 的 
内 容 包 括 : 
。 对 象 的 封装 ”通过 封装 将 数据 与 操作 结合 起 来 ,使 得 程序 更 加 紧凑 ,简化 了 对 对 象 
的 使 用 ,但 封装 导致 的 信息 隐藏 使 得 针对 信息 或 数据 的 测试 更 加 困难 。 

。 对 象 的 状态 ”同一 个 类 会 有 多 个 不 同 的 对 象 ,每 个 对 象 都 有 自己 的 状态 ,在 测试 过 
程 中 ,应 测试 到 对 象 的 每 个 状态 ,并 观察 对 象 能 否 处 于 所 有 不 同 的 状态 ,对 象 的 状态 
转换 是 否 正 确 。 

。 对 象 的 生命 周期 ”每 个 对 象 都 经 过 创建 访问、 修改 .删除 的 过 程 , 在 这 个 生命 周期 

中 ,应 从 多 方面 测试 对 象 的 状态 是 否 与 生命 周期 相符 合 。 

。 对 象 的 交互 ”不 同 对 象 之 间 通 过 消息 的 发 送 和 接收 产生 关系 ,应 测试 到 各 种 可 能 的 

交互 情况 。 

(2) 类 (Class) 是 通过 抽象 数据 类 型 的 方法 实现 的 一 种 数据 类 型 ,是 具有 共性 的 对 象 集 
合 。 类 是 对 某 一 类 型 对 象 的 抽象 ,而 对 象 是 某 一 种 类 的 实例 。 创 建 对 象 的 过 程 称 为 实例 化 ， 
创建 的 结果 称 为 实例 。 类 的 声明 描述 了 类 代表 什么 ,以 及 相应 的 对 象 能 做 什么 ,包括 了 多 个 
属性 和 方法 。 对 于 类 的 实现 需要 关注 如 下 内 容 : 

。 构造 函数 ”构造 函数 用 于 创建 新 的 对 象 ,并 对 其 进行 初始 化 。 首 先 要 注意 测试 各 种 
不 同 的 对 象 创建 方式 ,检查 初始 化 过 程 是 否 正确 ,是 否 存在 遗漏 的 或 错误 初始 化 的 
属性 。 其 次 , 若 存在 有 属性 是 其 他 类 的 对 象 的 情况 , 则 应 检查 对 其 他 类 的 实现 是 否 
正确 。 

析 构 函数 ” 析 构 函数 用 于 对 删除 的 对 象 进行 处 理 , 需 要 检查 所 有 申请 的 内 部 数据 空 
间 是 否 得 到 及 时 释放 、 重 要 属性 是 否 恢复 正常 的 取 值 。 

方法 ”类 通过 定义 各 种 方法 实现 对 外 接口 ,使 得 对 象 内 部 的 数据 可 以 与 外 界 进 行 交 
换 , 以 实现 对 象 之 间 的 交互 。 需 要 对 类 中 各 种 方法 进行 检查 。 同 时 ,还 要 检查 的 类 
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的 实现 是 否 满足 相关 的 设计 原则 。 

封装 (Encapsulation) 是 将 数据 以 及 操作 数据 的 方法 关联 起 来 ,构成 一 个 类 ,将 其 内 部 的 
实现 细节 隐藏 在 这 个 类 中 ,外界 无 法 访问 ,使 得 相应 对 象 封闭 保护 起 来 。 封 装 简化 了 对 对 象 
的 使 用 ,人 们 只 要 知道 对 象 的 输入 输出 ,无 须 了 解 内 部 细节 。 封 装 使 得 对 象 内 部 数据 的 访问 
只 能 通过 接口 来 进行 ,从 外 部 无 法 了 解 内 部 数据 的 状态 ,这 给 测试 带 来 一 定 的 难度 。 封 装 要 
求 对 象 应 具有 明确 的 功能 ,并 留 有 若干 接口 以 便于 和 其 他 对 象 之 间 进 行 相互 作用 ,因此 ,类 
应 该 具有 高 内 聚 度 和 低 耦 合 度 。 

面向 对 象 软件 的 基本 单位 是 类 ,一 个 类 封装 了 多 个 属性 和 操作 ,类 的 操作 通常 需要 依赖 
于 属性 ,操作 的 许多 功能 需要 在 不 同 的 实例 状态 下 才能 展示 出 来 ,甚至 有 的 操作 需要 在 特定 
的 实例 状态 下 才能 正常 执行 。 因 此 ,在 测试 面向 对 象 软件 时 ,不 能 简单 地 对 每 个 类 的 各 个 操 
作 进 行 测试 ,在 调用 任何 一 个 操作 之 前 必须 保证 相应 的 实例 处 于 该 操作 需要 的 预期 状态 下 。 
换 一 个 角度 ,一 个 测试 用 例 不 仅仅 调用 一 个 操作 ,实际 上 是 对 整个 类 进行 测试 的 一 个 调用 序 
列 ,因此 在 设计 每 个 类 的 测试 用 例 时 ,不 仅仅 要 考虑 调用 各 个 操作 ,还 要 考虑 如 何 设计 调用 
序列 。 

(3) 继承 (Inheritance) 是 类 之 间 的 一 种 关系 ,通过 从 某 个 类 ( 父 类 ) 派 生 可 以 得 到 一 个 
新 的 类 ( 子 类 或 派生 类 ) ,该 类 不 仅 具 有 父 类 的 特点 和 功能 ,实现 对 父 类 的 复 用 ,同时 还 可 以 
对 父 类 进行 扩展 ,具有 新 的 特点 和 功能 ,不 需要 和 父 类 保持 相同 或 一 致 规格 。 继 承 可 以 实现 
将 一 个 通用 对 象 中 的 特殊 性 不 断 提炼 出 来 ,得 到 逐渐 特殊 化 的 类 ,从 而 建立 对 现实 世界 的 分 
层次 的 描述 。 继 承 对 于 增加 软件 的 可 扩充 性 、 提 高 代码 的 重用 度 是 非常 重要 的 。 然 而 继承 
机 制 给 测试 带 来 两 个 重要 问题 : 其 一 是 缺陷 传播 ,继承 机 制 给 父 类 缺陷 向 子 类 传播 提供 了 
途径 ; 其 二 是 重复 测试 ,因为 子 类 从 父 类 继承 下 来 的 方法 往往 需要 重新 测试 。 

面向 对 象 软件 中 的 继承 机 制 使 得 传统 的 测试 充分 性 准则 ,如 语句 覆盖 、 分 支 获 盖 等 不 再 
完全 适用 。 例 如 ,类 B 继承 A ,车 A 有 两 个 属性 w 和 w 以 及 三 个 操作 a 、b 和 c, 类 B 除 了 继 
承 这 些 属性 和 操作 之 外 ,又 增加 了 属性 zx 和 y 以 及 两 个 操作 d 和 。。 如 果 已 经 对 A 进行 了 
充分 的 测试 ,那么 在 测试 B 时 只 对 B 自身 定义 的 属性 和 操作 进行 测试 是 不 充分 的 ,因为 类 
B 在 语法 上 有 4 个 属性 和 5 个 操作 ,对 B 的 充分 测试 应 该 重新 考虑 这 些 属性 和 操作 。 

继承 的 使 用 可 能 造成 许多 类 的 代码 难以 理解 ,例如 ,在 很 深 的 继承 上 处 于 叶 结 点 的 类 ， 
可 能 本 身 的 代码 很 少 ,但 却 可 以 通过 继承 拥有 丰富 的 特征 ,这 样 很 可 能 导致 使 用 时 发 生 误 
用 。 例 如 ,类 实例 初始 化 就 是 一 个 经 常 出 现 误 用 的 地 方 , 在 C++ 中 每 个 类 都 可 以 定义 若干 构 
造 函 数 , 用 于 实例 的 初始 化 ,在 子 类 的 构造 函数 中 通常 只 初始 化 该 类 本 身 定义 的 属性 ,并 通 
过 调用 父 类 的 构造 函数 来 初始 化 其 在 祖先 类 中 定义 的 属性 。 在 选择 使 用 哪个 构造 函数 来 初 
始 化 类 的 实例 时 ,程序 员 常 常 可 能 会 忽略 该 构造 函数 是 否 会 最 终 正 确 地 初始 化 定义 在 其 各 
个 祖先 类 中 的 属性 。 

(4) 多 态 (Polymorphism) 即 所 谓 一 个 对 外 接口 ,多 种 内 在 实现 方法 ,特点 是 同样 的 方法 
可 以 应 用 于 不 同 对 象 ,根据 特定 的 对 象 类 型 与 某 个 实现 绑 定 。 绑 定 可 以 分 为 静态 绑 定 和 动 
态 绑 定 。 静 态 绑 定 是 指 在 编译 时 刻 就 完成 的 绑 定 , 而 动态 绑 定 是 指 在 运行 时 刻 完成 的 绑 定 。 
多 态 可 以 分 为 参数 多 态 和 包含 多 态 ,前 者 是 根据 多 个 参数 来 定义 一 种 类 型 ,后 者 则 是 同一 个 
类 具有 不 同 表 现形 式 , 并 可 通过 继承 或 接口 来 实现 。 对 于 多 态 的 测试 ,一 般 需 要 通过 动态 测 
试 来 检查 ,静态 测试 无 法 保证 测试 的 正确 性 。 因 为 一 个 函数 名 可 以 绑 定 多 个 实例 ,而 具体 绑 
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定 哪个 实现 需要 在 运行 时 才能 决定 ,这 样 一 个 函数 名 起 到 了 Switch 语句 的 作用 ,根据 不 同 
的 输入 调用 不 同 的 实现 。 因 此 从 语句 覆盖 的 角度 看 ,仅仅 覆盖 了 该 函数 名 所 在 的 语句 并 不 
一 定 覆 盖 整 个 Switch 语句 ,只 有 覆盖 了 该 函数 名 调用 各 种 实现 的 情况 才能 覆盖 该 Switch 
语句 。 

在 面向 对 象 的 软件 中 ,继承 和 多 态 结合 在 一 起 可 以 产生 多 种 变化 ,这 一 方面 可 以 帮助 程 
序 员 设 计 出 许多 精巧 的 代码 ,也 使 得 因 使 用 不 当 而 引起 的 错误 难以 被 测试 发 现 。 

(5) 消息 (Message) ,对 象 间 通过 传递 消息 进行 相互 作用 ,通过 消息 来 请 求 执行 某 个 操 
作 , 消 息 的 测试 需要 考虑 消息 的 发 送 者 何 时 可 以 发 送 消息 、 消 息 的 接收 者 如 何 接 收 消息 、 如 
何 处 理 非 预 期 的 消息 以 及 消息 所 包含 的 参数 是 什么 、 是 否 可 以 修改 ,修改 是 否 正确 等 。 

(6) 接口 (Interface) 用 于 描述 类 对 象 的 一 系列 规范 的 行为 ,接口 的 测试 要 检查 接口 包 
含 的 行为 与 对 应 的 类 的 行为 是 否 一 致 ,接口 往往 与 其 他 接口 或 类 具有 相互 作用 ,应 测试 所 有 
可 能 的 相互 作用 。 

在 面向 对 象 程序 的 单元 测试 过 程 中 ,由 于 一 个 类 的 各 个 操作 通常 是 相互 依赖 的 ,特别 是 
由 于 继承 的 存在 ,一 个 类 通常 依赖 于 其 父 类 或 其 他 祖先 类 。 因 此 通常 很 难 对 一 个 类 中 的 单 
个 操作 进行 充分 的 单元 测试 。 


2. 面向 对 象 软件 测试 的 不 同 层次 及 特点 


面向 对 象 软件 测试 可 分 为 4 个 层次 : 方法 测试 、 类 测试 .类 簇 测试 和 系统 测试 ,其 中 方 
法 测试 也 叫 行为 测试 ,是 指 对 类 中 的 各 个 方法 (定义 的 各 种 操作 ) 进 行 单独 的 测试 ; 类 测试 
的 重点 是 类 内 方法 的 交互 和 其 对 象 的 各 个 状态 ; 类 簇 也 叫 子 系统 ,由 若干 个 类 组 成 ,类 簇 测 
试 相当 于 集成 测试 ,重点 测试 一 组 协同 操作 类 之 间 的 相互 作用 ; 系统 测试 检验 所 有 类 和 主 
程序 构成 的 整个 软件 系统 是 否 符合 要 求 。 

由 于 方法 测试 不 能 独立 于 类 ,一般 看 成 为 类 测试 的 一 部 分 ,因此 面向 对 象 软件 测试 一 般 
分 为 3 个 层次 ,其 中 面向 对 象 单元 测试 对 类 的 成 员 函 数 及 成 员 函 数 间 的 交互 进行 测试 , 面 
向 对 象 的 单元 测试 是 面向 对 象 的 集成 测试 的 基础 ,面向 对 象 集 成 测试 对 系统 内 部 的 相互 
服务 进行 测试 ,如 成 员 函 数 间 的 相互 作用 、 类 间 的 消息 传递 等 。 面 向 对 象 系统 测试 是 基 
于 集成 测试 的 最 后 阶段 的 测试 ,主要 以 用 户 需 求 为 测试 标准 ,检验 整个 软件 系统 是 否 符 
合 需 求 。 

类 是 面向 对 象 软件 组 成 和 运行 的 基本 单元 ,面向 对 象 软件 的 内 部 实际 上 是 各 个 类 之 间 
的 相互 作用 ,对 它 的 测试 也 就 显得 更 加 非常 重要 。 在 面向 对 象 系统 中 ,系统 的 基本 构造 是 封 
装 了 数据 和 方法 的 类 和 对 象 ,而 不 是 一 个 个 能 完成 特定 功能 的 功能 模块 。 每 个 对 象 都 有 自 
己 的 生存 周期 ,有 自己 的 状态 。 消 息 是 对 象 之 间 相 互 请 求 和 协作 的 途径 ,是 外 界 使 用 对 象 方 
法 及 获取 对 象 状态 的 唯一 方式 。 对 象 的 功能 是 在 消息 的 触发 下 ,由 对 象 所属 类 中 定义 的 方 
法 与 相关 对 象 的 合作 共同 完成 , 且 在 不 同 状态 下 对 消息 的 响应 可 能 完全 不 同 。 所 以 对 类 进 
行 测试 时 必须 考虑 类 的 对 象 所 具有 的 状态 ,着 重 考察 一 个 对 象 接收 到 一 个 消息 序列 之 后 ,是 
否 达 到 了 一 个 正确 的 状态 。 因 此 ,类 测试 的 重点 是 类 内 方法 间 的 交互 和 其 对 象 的 各 个 状态 ， 
类 的 测试 用 例 主 要 由 方法 序列 集 和 相应 的 成 员 变量 的 取 值 组 成 。 

一 般 单元 测试 的 理论 和 方法 都 是 可 以 应 用 到 类 测试 的 ,例如 ,类 测试 的 内 容 、 测 试 时 间 、 
测试 人 员 测试 方法 、 测 试用 例 设 计 方法 和 测试 充分 性 等 ,与 单元 测试 是 一 样 的 。 同 样 集成 
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测试 .系统 测试 的 基本 理论 和 方法 也 都 可 以 直接 应 用 到 面向 对 象 软件 的 测试 。 
为 了 能 够 尽早 地 发 现 面向 对 象 软件 中 可 能 存在 的 错误 ,与 一 般 的 软件 测试 相似 ,人 们 建 
立 了 图 6-1 中 相应 的 面向 对 象 软件 测试 模型 。 


面向 对 象 的 系统 测试 
面向 编程 测试 (单元 测试 ,集成 测试 ) 
面向 对 象 设计 的 测试 
面向 对 象 分 析 的 测试 
面向 对 象 分 析 


面向 对 
面向 对 象 设计 | 象 编程 


图 6-1 面向 对 象 软件 测试 模型 


(1) 面向 对 象 分 析 主 要 检查 分 析 结 果 是 否 符合 相应 的 面向 对 象 分 析 方 法 的 要 求 ,是 否 
可 以 满足 软件 需求 。 目 前 已 存在 多 种 面向 对 象 分 析 方法 ,例如 ,对 于 UML 用 例 模 型 ,首先 
确定 每 个 用 例 中 的 参与 者 ,根据 他 们 的 职责 审查 各 个 用 例 和 它们 的 规格 说 明 ,检查 在 功能 上 
是 否 已 经 覆盖 了 所 有 需求 以 及 其 他 不 符合 之 处 。 对 于 UML 结构 模型 ,针对 类 图 中 的 类 、 关 
系 ` 包 、 属 性 .操作 等 ,检查 在 数据 对 象 上 不 符合 之 处 ,还 需要 利用 走 查 等 方法 ,审查 UML 的 
由 活动 图 ,状态 图 ,顺序 图 等 组 成 的 行为 模型 ,检查 在 系统 服务 方面 的 不 符合 之 处 ,以 及 是 否 
能 够 保证 各 个 用 例 的 顺利 完成 。 

(2) 面向 对 象 设计 的 测试 与 面向 对 象 分 析 的 测试 没有 明显 的 界限 ,因为 设计 结果 都 是 
分 析 结 果 的 扩展 和 延伸 ,针对 设计 的 测试 除了 对 设计 结果 的 测试 之 外 ,还 要 检查 设计 结果 与 
分 析 结 果 的 一 致 性 ,设计 结果 对 编程 的 支持 。 

(3) 面向 对 象 编程 的 测试 一 方面 需要 执行 代码 进行 测试 , 另 一 方面 还 要 检查 程序 代码 
的 风格 。 对 于 一 定 规模 的 程序 ,将 整个 程序 放 在 一 起 进行 充分 的 测试 比较 困难 ,一般 都 是 将 
程序 的 各 个 部 分 分 别 进行 测试 ,同时 由 于 程序 的 不 同 组 成 部 分 之 间 存 在 依赖 关系 ,在 测试 一 
个 需要 依赖 其 他 部 分 时 ,需要 把 其 他 部 分 集成 在 一 起 进行 集成 测试 ,此 时 测试 的 重点 也 主要 
是 测试 各 个 部 分 之 间 的 交互 。 在 面向 对 象 软件 测试 中 ,人 们 一 般 把 可 单独 执行 的 实体 的 测 
试 称 为 单元 测试 ,而 把 多 个 实体 单元 集成 在 一 起 的 测试 称 为 集成 测试 ; 在 软件 交付 使 用 前 
还 需要 对 整个 软件 系统 进行 全 面 的 测试 ,确认 达到 用 户 需 求 , 称 之 为 系统 测试 。 

Q@ 面向 对 象 的 单元 测试 。 传 统 的 单元 测试 是 针对 程序 的 函数 、 过 程 或 完成 某 一 特定 功 
能 的 程序 所 进行 的 测试 ,面向 对 象 的 单元 测试 是 针对 面向 对 象 程序 的 基本 单元 一 一 类 ,为 
此 ,分 两 边 走 ,测试 与 类 相关 的 操作 和 测试 类 。 

操作 级 的 测试 主要 关注 那些 功能 单一 、 调 用 频繁 的 方法 (操作 ) 可 能 出 现 的 不 易 发 现 的 
错误 ,例如 ,操作 strchr() 用 于 查找 最 后 的 匹配 字符 ,但 程序 中 误 写成 了 查找 第 一 个 匹配 字 
符 。 将 让 (strnecmp (strl, str2, strlen (str2))) 误 写成 if (strncmp (strl, str2，strlen 
(str1))) ,此 时 如 果 使 用 的 数据 strl 和 str2 长 度 相 同 ,就 无 法 检测 错误 。 因 此 在 设计 测试 用 
例 时 ,应 对 函数 返回 值 作为 条 件 判断 等 情形 以 及 字符 串 操 作 等 情况 特别 注意 。 

面向 对 象 编程 的 特性 使 得 成 员 函 数 的 测试 不 同 于 传统 的 函数 或 过 程 测试 ,例如 ,继承 的 
操作 可 能 需要 重新 测试 ,特别 是 在 子 类 中 继承 过 来 的 成 员 函 数 做 了 改动 ,或 者 成 员 函 数 调用 了 
改动 过 的 成 员 函 数 。 值 得 注意 的 是 , 父 类 的 测试 用 例 不 能 照搬 到 子 类 。 例 如 , 基 类 中 Base 
::Redefined() 含 有 如 下 语句 if(value 二 0)message("less"); else if (value 一 一 0) message 
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("equal"); else message("more"); 在 子 类 中 Derived:: Redefined 中 定义 为 if(value 二 0) 
message( "less"); else if (value= =0) message("it is equal"); else {message("more"); 
计 (value 二 二 88) message("luck")}) ;在原 有 的 测试 上 ,对 Derived:: Redefined 的 测试 只 要 
做 如 下 改动 : 改动 value 二 ==0 的 预期 输出 ,增加 value 王 一 88 的 测试 。 

对 于 类 的 测试 需要 覆盖 类 中 所 有 操作 、 类 中 所 有 属性 的 设置 和 访问 、 类 的 对 象 的 所 有 可 
能 的 状态 转换 ,所 有 状态 转换 的 事件 都 要 模拟 到 。 

@ 面向 对 象 的 集成 测试 。 面 向 对 象 的 集成 测试 又 叫 交 互 测试 ,目的 是 确保 对 象 的 消息 
传递 能 够 正确 进行 ,可 用 3 种 方法 : 用 例 或 基于 场景 的 测试 .基于 线索 的 测试 和 对 象 交互 测 
试 。 其 中 用 例 或 场景 描述 了 系统 的 使 用 模式 ,测试 可 以 根据 场景 描述 和 对 象 簇 制定 ,这 种 测 
试 侧重 于 系统 结构 ,首先 测试 那些 几乎 不 使 用 服务 器 的 独立 类 ,再 测试 那些 使 用 了 独立 类 的 
下 一 层次 的 (依赖 ) 类 ,这 样 一 层 一 层 地 持续 下 去 ,直到 整个 系统 构造 完成 。 基 于 线索 的 测试 
把 响应 某 一 系统 输入 或 事件 所 需 的 一 组 类 的 实例 集成 在 一 起 ,形成 一 条 线索 。 每 条 线索 将 
分 别 集成 和 测试 ,因为 面向 对 象 系统 通常 是 事件 驱动 的 ,所 以 这 是 一 个 特别 适合 的 测试 形 
式 。 对 象 交 互 测试 提出 了 集成 测试 的 中 间 层 概念 ,中 间 层 给 出 叫做 “方法 -消息 ”路 径 的 对 象 
交互 序列 ,输入 事件 十 “方法 -消息 ”十 输出 事件 二“ 原子” 系统 功能 。 

集成 测试 能 够 检测 出 相对 独立 的 单元 测试 无 法 检测 出 的 那些 类 相互 作用 时 才 会 产生 的 
错误 ,关注 的 是 系统 结构 和 内 部 的 相互 作用 ,面向 对 象 的 集成 测试 也 包括 静态 测试 和 动态 测 
试 。 静 态 测试 对 程序 的 结构 进行 检查 ,检查 是 否 符合 设计 要 求 , 是 否 存 在 结构 和 实现 上 的 缺 
陷 , 是 否 符合 设计 要 求 。 动 态 测试 在 设计 测试 用 例 时 ,参考 功能 调用 结构 图 .类 关系 图 或 实 
体 关 系 图 等 确定 不 需要 重复 测试 的 部 分 ,从 而 优化 测试 用 例 ,减少 测试 工作 量 ,使 得 进行 的 
测试 能 够 达到 一 定 覆 盖 标 准 , 例 如 ,达到 类 所 有 的 服务 要 求 或 服务 提供 的 一 定 覆 盖 率 ;， 达到 
对 所 有 消息 驱动 的 线程 的 一 定 的 覆盖 率 ; 达到 类 的 所 有 状态 的 一 定 覆 盖 率 ; 以 及 使 用 现 有 
测试 工具 得 到 一 定 的 代码 执行 覆盖 率 。 


习题 6.1 
什么 是 面向 对 象 的 计算 范 型 ? 查阅 面向 对 象 方面 的 资料 ,更 全 面 地 了 解 面 向 对 象 技术 。 


(6.2 面向 方面 的 软件 测试 (Aspect Oriented Software Testing ) 


面向 方面 编程 是 21 世纪 初期 人 们 提出 的 一 个 相对 较 新 的 编程 范 型 ,该 编程 范 型 主要 强 
调 将 软件 系统 特别 是 面向 对 象 系统 中 的 分 布 在 各 种 类 和 对 象 中 的 关注 点 ( 即 所 谓 横 切 关注 
点 ) 分 离 出 来 ,实现 比 原来 系统 更 好 的 模块 化 。 然 而 ,面向 方面 编程 给 人 们 带 来 新 的 特性 和 
便利 的 同时 ,也 给 人 们 在 测试 方面 带 来 挑战 。 传 统 的 测试 方法 无 法 有 效 检测 面向 方面 编程 
所 带 来 的 一 些 故障 ,例如 ,银行 系统 的 认证 功能 可 以 作为 一 个 关注 点 分 离 出 来 ,成 为 一 个 
横 切 关注 点 ,AOP 在 源 程序 代码 中 插入 切 点 ,识别 和 捕获 系统 对 相应 关注 点 的 各 种 方法 
的 调用 消息 ,如 果 在 切 点 丢失 了 某 些 调用 消息 ,认证 功能 就 无 法 正确 运行 ,从 而 导致 严重 
错误 ,这 种 错误 称 为 面向 方面 的 切 点 错误 。 因 此 ,尽管 面向 方面 编程 加 强 了 软件 的 模块 
性 ,但 与 面向 对 象 编程 等 其 他 编程 方式 一 样 ,方法 本 身 不 能 提供 正确 性 保证 ,也 可 能 带 来 
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新 的 错误 。 

面向 方面 编程 的 核心 就 是 将 分 散在 多 个 模块 中 的 一 些 核心 关注 点 、 中 心 功能 ,如 登录 功 
能 和 认证 功能 等 ,从 这 些 模块 中 分 离 出 来 , 横 切 出 来 的 关注 点 独立 地 实现 为 系统 的 一 个 方 
面 ,这 个 方面 的 具体 实现 可 以 利用 传统 方法 ,例如 面向 对 象 的 方法 。 面 向 方面 程序 运行 的 方 
式 是 当 需 要 运行 一 个 横 切 关注 点 的 时 候 ,通过 切 点 和 联合 点 的 对 接 方式 ,相应 的 方面 就 会 被 
调用 ,执行 相应 的 方面 代码 ,执行 结束 后 返回 。 这 种 面向 方面 的 编程 的 特点 是 容易 维护 、 高 
度 模块 化 和 可 重用 、 容 易 理解 和 演化 ,因为 各 项 功能 相对 独立 ,不 会 分 散 (Code Scattering)、 
交织 (Code Tangling) 在 程序 中 (如 图 6-2 所 示 ) 。 


代码 分 散 


图 6-2 面向 方面 编程 的 核心 示意 图 


Aspect 是 Java 语言 的 扩展 ,引入 了 支持 面向 方面 编程 的 一 些 概 念 。 例 如 ,联合 点 
(Joint Point) 表 示 程 序 中 关注 点 执行 或 注入 的 地 方 ; 切 点 (PointCuts) 指 的 是 需要 调用 关注 
点 的 地 方 , 包 含 了 与 关注 点 执行 相 匹配 的 上 下 文 ; 建议 (Advice) 与 方法 一 样 ,包含 了 关注 点 
的 具体 代码 ,是 关注 点 的 具体 实现 。 介 绍 (Introduction ) 提供 系统 源 代 码 的 修改 ; 方面 
(Aspects) 包 含 了 实现 横 切 关注 点 的 一 个 封装 ,是 切 点 和 建议 的 组 合 (如 图 6-3 所 示 ) 。 


图 6-3 面向 方面 编程 的 相关 概念 


关于 面向 方面 软件 的 测试 ,人 们 已 经 做 了 相当 系统 的 研究 ,包括 基于 代码 的 测试 即 结构 
化 测试 或 白 盒 测试 .基于 规格 说 明 的 测试 即 黑 盒 测 试 .基于 模型 的 测试 .基于 故障 和 风险 的 
测试 .回归 测试 ,变异 测试 以 及 测试 用 例 自 动 生成 和 执行 的 自动 化 测试 等 。 
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习题 6.2 
面向 方面 软件 具有 哪些 特点 ? 


6.3 面向 服务 的 软件 测试 (Service Oriented Software Testing ) 


1. 面向 服务 软件 的 概念 


面向 服务 的 体系 结构 正在 给 当前 和 未 来 的 软件 工程 带 来 巨大 变化 , 它 是 一 个 有 弹性 的 、 
高 度 动态 的 系统 ,该 系统 通过 服务 的 动态 发 现 和 服务 组 合 , 超 晚 绑 定 、 服 务 层 协议 的 管理 和 
自动 协商 自治 的 系统 重 配 置 等 机 制 实现 。 面 向 服务 的 体系 结构 从 根本 上 改变 了 软件 开发 
的 观念 ,实现 了 软件 的 所 有 权 ( 软 件 是 一 种 产品 ) 和 它 的 使 用 (软件 作为 一 种 服务 ) 的 分 离 。 
面向 服务 软件 的 以 下 特点 增加 了 测试 的 难度 和 负担 : 

。 面向 服务 的 系统 本 质 上 是 分 布 的 ,需要 对 不 同 的 部 署 配置 ,保证 其 服务 质量 。 

。 面向 服务 的 系统 中 各 个 服务 的 改变 是 独立 的 ,这 对 于 该 系统 的 回归 测试 会 产生 
影响 。 
系统 实现 的 自 适 应 行为 ,如 替换 或 增加 一 个 新 的 服务 ,相应 的 集成 测试 必须 处 理 这 
些 改变 的 配置 。 
服务 集成 商 和 用 户 对 于 服务 提供 商用 于 广告 和 描述 服务 的 信息 的 有 限 信任 使 得 测 
试用 例 的 设计 很 复杂 。 
服务 系统 通常 具有 复杂 的 多 个 利益 方 的 拥有 权 关 系 ,系统 测试 需要 这 些 利益 各 方 的 
相互 协调 。 

因此 ,面向 服务 的 系统 架构 不 仅 改 变 了 系统 的 构建 方法 和 使 用 方法 ,同时 也 改变 了 系统 
的 测试 方法 ,例如 ,服务 系统 使 用 的 各 种 服务 不 是 真实 地 集成 到 系统 中 的 ,而 是 运行 在 服务 
供应 商 那 里 ,服务 可 以 使 用 而 不 能 拥有 ,这 对 服务 测试 意味 着 : 系统 集成 商 无 法 获得 代码 ， 
服务 系统 中 各 个 服务 的 演化 是 不 可 控 的 ,服务 系统 管理 员 无 法 利用 容量 规划 的 方法 阻止 服 
务 层 协议 的 失败 。 


2. 目标 


面向 服务 的 软件 测试 对 于 保证 服务 软件 的 成 功 应 用 起 到 关键 作用 , 它 包 括 单个 服务 的 
测试 到 企业 间 系 统 联合 测试 等 多 个 层面 ,必须 同时 覆盖 服务 功能 测试 和 非 功能 性 测试 。 


3. 原理 


为 了 保证 面向 服务 架构 的 任务 关键 系统 的 可 靠 性 ,人 们 采用 了 一 些 有 效 的 方法 来 增强 
对 服务 系统 的 信心 : 一 种 方法 是 通过 服务 宛 余 来 加 强 系统 的 容错 能 力 ,例如 ,可 以 将 每 个 服 
务 设计 成 一 个 可 以 容纳 多 个 等 价 服 务 的 容器 , 当 系 统 调用 时 ,通过 投票 机 制 选择 可 用 服务 ; 
男 一 种 方法 是 建立 对 服务 的 连续 监控 ,任何 时 候 , 当 某 个 服务 出 现 问 题 时 ,监控 程序 启动 相 
应 的 恢复 程序 ,例如 ,在 天 气 预报 系统 中 一 个 温度 服务 不 可 用 时 ,监控 程序 发 现 后 ,立即 发 现 
并 启动 一 个 新 的 温度 服务 ,监控 机 制 使 得 服务 系统 具有 自 疗 自修 的 能 力 ,该 机 制 需要 约 简 意 
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事件 的 类 型 ,使 得 监控 机 制 可 以 在 发 现 这 些 意 外 事件 时 ,采取 适当 的 修改 动作 。 

传统 的 软件 系统 测试 方法 也 可 以 应 用 到 服务 软件 的 测试 中 ,例如 ,单元 测试 、 集 成 测试 、 
系统 测试 和 回归 测试 等 ,但 服务 系统 的 动态 和 自 适应 特征 使 得 大 多 数 传统 方法 无 法 直接 使 
用 。 例 如 ,传统 测试 方法 中 ,调用 方 可 以 精确 知道 被 调用 代码 ,就 像 在 面向 对 象 编程 中 ,多 态 
组 件 的 各 种 动态 绑 定 都 是 可 知 的 。 但 在 服务 系统 中 ,由 于 系统 是 在 运行 是 在 开放 的 服务 市 
场 中 动态 发 现 ,并 且 是 超 灌 后 绑 定 ,因此 这 一 点 是 做 不 到 的 。 


4. 方法 


每 当 新 技术 出 现 的 时 候 , 人 们 就 会 开发 一 些 新 的 软件 工程 方法 和 过 程 以 适应 新 技术 的 
发 展 ,最 典型 的 问题 就 是 是 否 可 以 重用 已 有 的 方法 和 技术 。 对 于 面向 服务 架构 的 软件 是 否 
可 以 利用 已 有 的 测试 方法 进行 测试 ,例如 ,以 前 针对 单机 系统 的 软件 测试 方法 、 分 布 式 系统 
测试 方法 ,构件 软件 测试 方法 和 网 络 软件 测试 方法 等 。 要 回答 这 个 问题 ,就 必须 关注 服务 软 
件 系统 的 特殊 性 。 具 体 来 讲 , 服 务 系统 以 下 特殊 性 限制 了 它 的 可 测试 性 : 
服务 代码 与 结构 的 不 可 见 性 ”对 于 用 户 、 服 务 集成 商 来 讲 , 服 务 只 是 一 个 接口 ,因此 
对 服务 不 可 能 进行 以 代码 和 结构 为 基础 的 白 盒 测试 。 如 果 在 测试 中 需要 一 些 如 服 
务 操作 之 间 的 依赖 关系 、 完 整 的 服务 行为 模型 等 进一步 信息 时 ,除非 供应 商 可 以 提 
供 , 否 则 测试 人 员 必 须 从 服务 外 部 进行 推理 获得 。 
服务 的 动态 和 自 适应 性 ”在 传统 的 系统 中 ,调用 的 组 件 是 确定 的 ,即使 在 拥有 多 态 
机 制 的 面向 对 象 的 系统 中 ,所 有 可 能 的 构件 都 是 确定 的 。 在 服务 系统 中 ,调用 的 服 
务 对 象 是 在 所 有 注册 的 服务 中 进行 检索 和 选择 ,无 法 确定 。 
缺乏 控制 ”服务 组 件 不 是 物理 地 集成 到 软件 系统 中 的 ,各 种 服务 运行 在 各 自 供应 商 
的 系统 中 ,在 供应 商 的 控制 之 下 。 这 个 特征 使 得 集成 商 无 法 决定 启用 新 服务 的 策略 
和 回归 测试 等 问题 。 这 种 情况 下 ,可 能 当 服 务 更 新 成 新 的 版 本 时 ,用 户 和 集成 商 未 
能 得 到 评估 通知 。 结 果 ,在 使 用 时 ,人 们 会 遇 到 出 人 意料 的 系统 行为 ,即使 基本 功能 
没有 变化 ,服务 层 协议 规定 的 性 能 指标 可 能 不 再 吻合 。 
信任 缺乏 ”一般 情 况 下 ,服务 应 该 提供 它 的 行为 模型 等 特征 描述 、 服 务 性 能 等 服务 
质量 信息 。 从 理论 上 , 正 是 利用 这 些 信 息 , 集 成 商 发 现 服务 ,理解 服务 的 特征 ,最 后 
决定 采用 哪个 服务 。 然 而 ,这 些 信息 可 能 不 真实 ,因为 ,供应 商 可 能 会 撤 议 ,提供 一 
些 关 于 服务 功能 和 非 功能 的 错误 信息 ,影响 集成 商 的 正确 决策 。 
测试 成 本 ”服务 系统 测试 过 程 中 要 大 量 调 用 运行 在 供应 商机 器 中 的 各 种 服务 ,这 需 
要 支付 相应 的 费用 ,而 且 调 用 频率 过 高 ,会 引起 服务 拒绝 。 

面向 服务 的 软件 测试 ,一 方面 要 开发 新 方法 , 另 一 方面 也 要 使 用 已 有 方法 来 处 理 以 上 问 
题 。 服 务 系统 与 基于 商业 构件 的 系统 非常 相似 ,如 供应 商都 是 独立 开发 构件 、 集 成 商 无 法 获 
得 代码 进行 重新 测试 等 。 但 商业 构件 是 物理 上 集成 到 软件 中 的 ,而 服务 只 是 运行 外 部 的 供 
应 商 的 机 器 中 ,而 且 服 务 质量 是 随时 间 发 生 着 无 法 预测 的 变化 ,因此 ,面向 服务 软件 需要 一 
些 独特 的 软件 测试 技术 。 

面向 服务 的 软件 给 开发 方 、 供 应 方 、 集 成 商 \ 认 证 方 和 终端 用 户 在 软件 测试 方面 提出 了 
不 同 的 需求 和 挑战 (如 表 6-1 所 示 )。 以 下 分 析 以 上 利益 各 方 在 软件 测试 的 各 个 层面 的 
利弊 。 
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表 6-1 几 种 典型 的 服务 测试 
开发 方 | 供应 商 | 集成 商 第 三方 用 户 
十 可 以 做 白人 测试 || 市 限 成 林 | 十 在 使 用 环境 下 | 十 供应 商 只 需 少量 资源 | 服务 软件 自 测 
十 成 本 有 限 一 需要 服务 规格 | 测试 服务 (用 一 个 第 三 方 认证 | 试 检查 运行 时 
幼 | 十 可 以 用 服务 的 规 | “产生 测试 用例 | + 对 服务 合成 进 | 代替 多 个 供应 商 ) 。 | 是 否 功能 符合 
甘 | 。 格 说 明 产 生 测试 | “只 能 做 黑 僵 | 行 白人 测试 | 十 评估 上 不 会 出 现 偏见 | 要求 
试 | 用 例 本 一 对 服务 进行 黑 | 一 只 评估 其 他 人 选择 的 | 一 服务 没有 接 
一 无 法 产生 实际 场 | 站 代表 住 输入 | 爹 测试 服务 和 功能 口 允许 用 户 
景 下 的 输入 一 高 成 本 一 高 成 本 测试 
系统 在 重新 配置 
集 | 可 能 是 集成 商 在 自 ae 
Pn 不 做 一 由 于 动态 名 年，| 不 做 不 做 
要 测试 服务 看 
合 调用 问题 
服务 演化 或 维护 之 十 与 多 个 集成 商 各 自 测 
后 都 要 进行 回归 | 十 成 本 有 限 (对 服 | ， 可 能 没有 意识 | 斌 相 比 ,可 以 使 用 较 | 服务 软件 自 测 
回 | 测试 务 做 离线 测试 ) | ”到 使 用 的 服务 | ， 少 的 宽带 
蜀 | 十 有 限 成 本 (服务 | 一 只 关注 服务 变 | 已 发生 改变 | 一 代表 集成 商 对 服务 进 | 化 后 是 否 正 党 
试 | 可 以 离线 测试 ) | 化 ,不 用 关注 | _ 高 成 本 行 重新 测试 守 作 
一 不 关注 谁 使 用 该 | 如 何 变化 一 回归 测试 用 例 集合 不 
项 服务 是 实际 应 用 场景 
一 服务 层 协 议 测 
需要 对 供应 商 和 消 | 检查 服务 层 协议 
非 | 费 者 提供 准确 的 非 | 是 否 符合 消费 者 | 洛 全 考 虑 所 有 | 代表 其 他 人 评估 性 能 | 肛 务 软件 自 六 
可 能 的 绑 定 试 检查 运行 时 
能 | 功能 规格 要 求 二 十 减少 资源 使 用 二 二 
温 | 十 有 限 成 本 一 测试 环境 不 是 | 测试 结果 依赖 | 一 非 实际 使 用 场景 | 要 求 
一 非 现实 测试 环境 | 实际 使 用 环境 | 于 网 络 配置 


注 :“ 十 "表示 正面 “一 "表示 负面 。 


(1) 服务 开发 方 。 一 方面 ,目标 是 发 布 高 可 靠 的 服务 ,服务 开发 方 测试 服务 软件 以 期 尽 
可 能 多 地 发 现 错误 。 开 发 方 拥 有 服务 的 实现 源 代 码 ,可 以 进行 白 盒 测试 。 另 一 方面 ,开发 方 
也 希望 评估 服务 的 非 功能 属性 和 异常 处 理 能 力 ,尽管 测试 成 本 有 限 (开发 方 在 测试 自己 开发 
的 服务 时 不 必 支 付 相关 费用 ) , 非 功 能 性 测试 并 不 是 很 真实 ,因为 测试 环境 无 法 包括 供应 商 
和 终端 用 户 的 真实 运行 环境 , 即 开发 方 设计 的 测试 用 例 无 法 反映 真实 的 用 户 场景 。 

(2) 服务 提供 商 。 服 务 供应 方 测试 服务 软件 的 目的 是 确认 与 用 户 服务 协议 中 规定 的 各 
个 需求 得 到 保证 。 测 试 成 本 有 限 ,然而 ,服务 供应 方 可 能 不 能 使 用 白 盒 测试 技术 ,因为 服务 
供应 方 与 开发 方 可 能 不 是 一 个 组 织 或 个 人 。 同 样 , 非 功能 测试 无 法 反映 消费 者 运行 环境 、 网 
络 配置 和 负载 情况 等 ,服务 提供 商 的 测试 也 无 法 反映 真实 的 用 户 场景 。 

(3) 服务 集成 商 。 服 务 集成 商 为 了 确信 供应 商 提供 的 服务 软件 满足 服务 集成 的 功能 和 
非 功 能 性 设计 要 求 ,需要 进行 测试 。 但 运行 时 发 现 和 超 滞后 绑 定 使 得 这 种 测试 非常 困难 , 因 
为 动态 绑 定 的 服务 不 可 确定 ,而 且 , 集 成 方 无 法 控制 不 断 变化 的 服务 。 所 以 集成 商 的 测试 需 
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要 不 断 地 调用 供应 商 的 服务 ,因此 有 可 能 浪费 供应 商 的 资源 。 

(4) 第 三 方 认 证 。 服 务 集成 商 可 以 使 用 第 三 方 认证 对 服务 进行 评估 。 从 供应 商 角度 ， 
这 样 可 以 节约 测试 资源 。 为 了 保证 容错 ,第 三 方 可 以 代表 其 他 人 ,同样 从 集成 商 的 视角 对 服 
务 进行 测试 。 然 而 ,和 集成 商 一 样 ,第 三 方 认证 无 法 在 特定 的 服务 组 合 中 测试 一 个 服务 ,也 
无 法 在 同样 的 网 络 配 置 和 环境 下 进行 测试 。 

(5) 终端 用 户 。 终 端 用 户 对 于 服务 测试 并 无 充分 考虑 ,他 们 只 关心 这 些 服务 在 他 们 使 
用 的 时 候 能 正常 工作 就 可 以 了 。 对 用 户 来 讲 , 服 务 的 动态 性 意味 着 潜在 的 优点 ,如 更 好 的 性 
能 、 更 好 的 功能 和 更 少 的 成 本 ,但 也 有 潜在 的 威胁 。 让 服务 系统 具有 自 测试 能 力 可 以 减少 这 
种 威胁 ,但 这 又 意味 着 更 高 的 成 本 和 资源 的 浪费 。 例 如 ,如 果 一 个 可 以 通过 无 线 网 连接 的 装 
有 微型 电话 的 服务 突然 通过 调用 几 个 服务 启动 自动 测试 ,需要 支付 很 多 宽带 使 用 费 。 


5. 实例 


(1) 原子 服务 和 服务 合成 的 单元 测试 

单个 原子 服务 的 测试 在 原理 上 可 以 认为 等 价 于 组 件 测试 ,事实 上 ,尽管 有 很 多 相似 性 ， 
但 也 有 很 多 不 同 之 处 。 

Q@ 可 观测 性 。 除 了 开发 方 可 以 利用 代码 进行 白 盒 测试 ,对 于 原子 服务 的 单元 测试 只 能 
进行 黑 盒 测 试 。 服 务 的 各 种 模型 ,例如 ,描述 状态 演化 的 状态 机 模型 ,不仅 对 于 测试 是 有 益 
的 ,而 且 还 可 以 进行 服务 发 现 和 合成 。 但 由 于 产生 这 些 模型 需要 一 定 的 技能 .时 间 和 资源 等 
要 求 ,开发 方 和 供应 商 往往 无 法 提供 这 些 模型 。 尽 管 如 此 ,人 们 研究 一 些 服务 规格 说 明 的 黑 
盒 逆向 工程 方法 ,如 不 变 式 检测 方法 等 。 

@ 测试 数据 生成 。 人 们 关于 测试 数据 生成 的 研究 已 经 非常 多 ,例如 基于 搜索 的 测试 数 
据 生成 。 通 常 在 可 以 利用 代码 的 情况 下 ,人 们 可 以 利用 代码 覆盖 .路 径 覆 盖 等 。 由 于 无 法 拿 
到 源 代 码 ,这 使 得 测试 数据 的 生成 变 得 困难 ,对 于 黑 盒 测试 生成 只 能 根据 输入 输出 域 或 一 些 
模型 进行 测试 数据 生成 。 

@ 复杂 的 输入 输出 类 型 。 已 有 的 测试 数据 生成 技术 , 绝 大 多 数 只 能 处 理 单个 输入 的 情 
况 。 但 现实 世界 的 服务 通常 可 以 通过 XML 模式 定义 很 复杂 的 输入 ,测试 数据 生成 应 该 可 
以 根据 XML 模式 产生 相应 的 测试 数据 。 为 服务 操作 产生 测试 数据 的 生成 算法 应 该 可 以 生 
成 对 应 XML 表示 或 参数 操作 的 树 或 森林 ,为 此 ,可 以 使 用 泛 化 编程 。 

@ 输入 输出 没有 充分 描述 。 要 使 用 如 等 价 类 划分 等 黑 盒 测 试 技 术 ,必须 要 知道 每 个 输 
入 的 允许 值 范围 或 边界 。 原 则 上 ,XML 模式 中 定义 服务 运算 的 输入 参数 应 该 提供 这 些 信 
息 ,但 实际 上 ,几乎 很 少 这 么 做 ,因此 ,测试 人 员 必须 手工 指定 值 的 范围 或 可 用 值 。 

@@ 测试 成 本 和 副作用 。 这 是 一 个 涉及 服务 所 有 测试 活动 的 共同 问题 。 单 元 测试 应 该 
尽 可 能 少 地 使 用 服务 调用 , 即 测试 用 例 集 最 小 化 问题 是 一 个 基本 问题 ,或 者 服务 应 该 提供 一 
个 测试 模式 ,允许 测试 人 员 免 费 调用 ,而 不 占用 相关 资源 ,不 产生 副作用 。 

例 6-1 ”Bertolino 等 给 出 一 种 TAXI (Testing by Automatically generated XML Instance, 自 
动 生成 XML 测试 用 例 的 测试 方法 ) 方法 和 相应 工具 ,该 工具 通过 XML 模式 产生 测试 数 
据 。 虽 然 不 是 特意 为 Web 服务 设计 的 ,但 特别 适合 于 服务 的 黑 盒 测试 。 该 工具 将 输入 域 划 
分 为 各 个 子 域 ,使 用 等 价 类 划分 方法 生成 测试 用 例 。 

例 6-2 ” 白 晓 颖 等 给 出 一 个 针对 服务 或 服务 组 合 操作 的 测试 用 例 生成 和 操作 序列 测试 
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框架 。 这 个 框架 通过 分 析 服 务 描述 语言 (WSDL) 界 面 产生 测试 数据 。 我 们 知道 ,服务 运算 
的 参数 类 型 可 以 是 简单 的 XSD 类 型 .集合 类 型 (如 数组 ) 和 用 户 自 定义 类 型 。 对 于 简单 类 
型 ,该 框架 通过 选择 一 些 特殊 值 和 代表 值 产 生 测试 数据 ; 对 于 复杂 类 型 ,利用 递归 方法 , 直 
到 处 理 简单 类 型 。 

该 框架 利用 操作 之 间 的 依赖 关系 生成 操作 序列 进行 测试 ,一 般 通 过 WSDL 推理 得 出 操 
作 间 具有 以 下 关系 : 

@ 输入 依赖 关系 , 即 两 个 操作 有 相同 的 输入 参数 。 

@ 输出 依赖 关系 , 即 两 个 操作 具有 相同 的 输出 参数 。 

@ 输入 或 输出 依赖 关系 ,一 个 操作 的 输出 是 另 一 个 操作 的 输入 。 

例 6-3 Conroy 等 开发 了 一 个 遗产 软件 的 用 户 界面 用 来 生成 Web 服务 的 测试 数据 ,这 
种 方法 基于 以 下 想法 : 

@ 图 形 界面 元 素 无 非 包括 输入 接收 器 动作 按钮 .输出 显示 单元 ,状态 检查 单元 。 

@ 从 图 形 用 户 界面 获得 数据 。 

@ 将 获得 的 数据 映射 为 服务 输入 ,驱动 服务 重新 运行 。 

服务 合成 的 单元 测试 。 除 了 每 个 原子 服务 ,服务 合成 时 的 业务 流程 执行 语言 的 过 程 
(WS-BPEL) 也 需要 进行 单元 测试 。 开 发 方 可 以 检查 WS-BPEL, 所 以 可 以 对 WS-BPEL 进 
行 白 盒 测试 。 由 于 WS-BPEL 从 外 部 看 ,就 是 一 个 WSDL 描述 的 服务 ,因此 ,WS-BPEL 的 
黑 盒 测试 与 服务 测试 是 等 价 的 。 一 方面 ,WS-BPEL 的 测试 不 是 孤立 的 ,需要 一 些 桩 作为 搭 
档 过 程 ; 男 一 方面 ,测试 WS-BPEL 不 要 访问 搭档 过 程 的 可 能 性 ,允许 在 搭档 程序 开发 之 前 
对 WS-BPEL 进行 测试 ,或 者 在 测试 阶段 根本 就 不 涉及 搭档 程序 。 

例 6-4 Li 等 提出 一 个 WS-BPEL 单元 测试 框架 (如 图 6-4(a) 所 示 ), 该 框架 某 种 程度 
上 与 JUnit 等 其 他 测试 框架 很 相似 ,包括 以 下 4 个 组 件 : 

Q@ WS-BPEL 过 程 合成 模型 ,如 图 6-4(a) 所 示 ,包括 待 测试 WS-BPEL 过 程 (Procedure 
Under Testing,PUT) 和 它 搭档 过 程 (Partner Process,PP) 。 

@ 测试 体系 结构 ,如 图 6-4(b) 所 示 , 这 里 搭档 过 程 PP 用 桩 , 称 为 测试 过 程 (Test 
Process,TP) ,控制 过 程 (Control Procedure,CP) 协 调 这 些 桩 过 程 。 因 此 ,测试 体系 中 用 桩 
TP, 并 测试 控制 结构 和 行为 。 

@ 生命 周期 管理 ,通过 用 户 界面 启动 和 停止 控制 过 程 CP 和 桩 过 程 TP。 


Cllent 


CD 
(Pp! ) (CC PP ) 人 PP ) 


(a) WS-BPEL 过 程 合成 模型 (b) 测试 体系 结构 
图 6-4 WS-BPEL 单元 测试 框架 


例 6-5 Yuan 等 为 WS-BPEL 测试 提出 了 一 种 基于 约束 求解 方法 的 测试 用 例 生成 方 
法 ,该 方法 主要 分 为 4 步 : 
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Q@ WS-BPEL 可 以 表示 为 BPEL-Flow-Graph(BFG) ,是 控制 流 图 的 一 个 变种 。 

@ 遍历 WS-BPEL 的 BFG, 找 出 测试 路 径 , 定 义 WS-BPEL 活动 列表 。 

@ 通过 约 东 求解, 过滤 掉 不 可 行路 径 , 对 于 可 行路 径 可 以 通过 随机 或 手工 进行 测试 用 
例 生成 。 

@ 测试 用 例 生 成 将 测试 数据 与 路 径 结合 起 来 .同时 通过 手工 给 出 预期 输出 。 

例 6-6 蔡 伟 德 等 给 出 了 一 种 解决 测试 预期 输出 问题 的 方法 ,他 们 提出 同时 调用 多 个 
等 价 的 服务 ,通过 投票 机 制 来 决定 是 否 某 个 服务 中 含有 错误 ,例如 , 某 个 服务 的 输出 与 其 他 
三 个 不 同 ,就 认为 该 服务 包含 一 个 错误 。 

(2) 集成 测试 

面向 服务 的 架构 将 单机 应 用 软件 的 开发 变 成 了 一 个 应 用 软件 由 网 络 上 分 布 的 多 个 组 
织 开发 运行 的 服务 组 成 的 ,根据 BPCL 编写 的 中 央 控 制程 序 进行 协同 工作 的 分 布 式 软件 。 
而 且 服 务 合成 在 一 些 服务 不 可 用 或 一 些 更 好 服务 发 布 时 ,可 以 动态 改变 以 适应 新 的 形势 。 
因此 ,服务 之 间 的 交互 性 测试 显得 尤为 重要 ,特别 是 集成 测试 。 

与 传统 的 集成 测试 相 比 ,服务 组 合 的 集成 测试 要 处 理 以 下 两 个 问题 : 四 缺乏 关于 被 集 
成 的 组 件 信息 ,这 使 得 桩 程序 的 开发 很 困难 ; 四 在 测试 模式 中 执行 服务 组 件 的 不 可 行 性 , 需 
要 限制 在 测试 过 程 中 对 服务 的 调用 ,因为 这 可 能 导致 成 本 和 资源 的 消耗 ,甚至 意料 之 外 的 副 
作用 。 服 务 组 合 和 搭档 的 动态 绑 定 使 得 服务 组 合 的 集成 测试 更 加 困难 ,在 服务 组 合 中 的 调 
用 可 以 动态 地 绑 定 不 同 地 方 的 服务 ,基于 不 同 的 功能 和 非 功 能 约束 和 目标 。 

在 服务 组 合 的 集成 测试 中 ,一般 需要 测试 所 有 可 能 的 绑 定 ,这 就 像 面向 对 象 的 集成 测试 
一 样 。 所 以 ,面向 对 象 的 集成 测试 方法 可 以 进行 借鉴 和 应 用 。 在 图 6-5(a) 中 类 A 的 方法 
mc() 在 调用 类 B 的 方法 mO 〇 时 可 以 动态 绑 定 : B::72().C::7m() 或 D::m()。 考 虑 到 数据 
流 ,在 面向 对 象 系统 中 ,如 果 方 法 mA 调用 方法 mB , 称 方法 mA 与 方法 mB 之 间 存在 一 个 调 
用 连接 ; 如 果 方 法 mB 中 使 用 了 在 方法 mA 中 定义 的 变量 ,或 者 反之 , 称 之 为 方法 mA 与 方 
法 mB 之 间 存 在 一 个 参数 连接 。 相 应 地 ,存在 两 种 路 径 : 

。 调用 连接 路 径 ”从 调用 点 到 被 调用 点 ,然后 返回 (方法 mA 调用 方法 mB )。 

。 参数 连接 路 径 ”从 调用 前 参数 最 后 被 定义 的 地 方 到 调用 的 过 程 中 该 参数 第 一 次 被 

使 用 的 地 方 (定义 连接 ) ,相似 地 ,从 参数 在 被 调用 方法 中 最 后 被 定义 的 地 方 到 返回 
主 调 方法 中 第 一 次 使 用 该 参数 的 地 方 (使 用 连接 ) 。 

根据 以 上 概念 ,面向 对 象 系统 具有 以 下 覆盖 准则 : 

。 所 有 调用 覆盖 ,覆盖 从 调用 方 出 发 .经 过 被 调用 方法 ,然后 返回 的 所 有 路 径 。 

。 所 有 定义 连接 覆盖 ,存在 一 条 路 径 经 过 每 个 定义 连接 。 

。 所 有 使 用 连接 覆盖 ,存在 一 条 路 径 经 过 每 个 使 用 连接 。 
。 所 有 定义 使 用 连接 覆盖 ,存在 一 条 路 径 经 过 每 个 定义 使 用 连接 。 

理想 情况 下 ,可 以 将 面向 对 象 软件 测试 的 这 些 方 法 直接 应 用 于 服务 合成 的 动态 绑 定 测 
试 。 但 存在 以 下 一 些 问 题 : 

QO 在 服务 组 合 测试 中 ,参数 连接 准则 有 所 不 同 ,因为 搭档 过 程 在 被 供应 商 服 务 器 调用 
时 ,只 能 作为 黑 盒 实体 。 换 句 话说 ,在 调用 方 定 义 的 参数 ,其 可 见 的 使 用 是 对 搭档 过 程 的 调 
用 ,而 在 被 调用 过 程 中 定义 的 参数 只 能 在 返回 点 可 见 。 

@ 对 应 于 一 个 抽象 服务 ,可 能 的 具体 服务 是 无 法 预知 的 。 一 些 在 设计 时 可 用 的 服务 在 
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实际 和 运行 时 可 能 无 法 使 用 ,如 果 在 开放 的 市 场 环境 下 利用 动态 发 现 ,运行 时 可 能 调用 一 些 新 
的 服务 。 
4 B Public clese A Public clasa Bl 
ee et 
+mc() +m() a 
| A me tmnt 7 nt ye-1s 1/ Pimmt use in callee 
| dnt 19; /tgp€ oe before ca tnt joyrts /tast def before retura 
| 1 > a 
| bl.mbtal1 11cal- ror 》 
1 ~ 一 
| 坟 记 0 村 D 
让 
+m() +m() SS 
(a) OO 中 的 动态 绑 定 (b) OO 中 的 调用 耦合 
服务 不 可 用 


/ 


中 ->| 
(TD 航班 预订 o— 上 公司 


航班 预订 o 一 


公司 


运行 时 发 现 的 服务 


(c) SOA 中 的 动态 绑 定 


<a5algmD><cOPy7> 
<*IICD Yarilable-"a"/> Tes: def SEfCTE C21) 
<to variable="request"/> 

sycoP7></asalgD> 


«linvoxe name-"inrokeAgsegsor" partner-"agseaegor" 调用 方 
PortTYhe="asna:rianAsaessmentpT" i 
operation-"check" Te 
10putVvarlable-"request" be 
outputvariable-"rigkAaBesanent" > \ 

<targer linkNane-"receive-to-agseas"/> 和 

*aource 1inkNane-"a5ae55-tO-aetMegsage" NA 
transltloncondlclon- 
"bpws getvariableDnatat"r1iakAcsaeasment”, 检查 
‘rigk’}- lo "/> 

<a0Uurce 1inkNanee"asaes5-tO-approval® 
transitionCondition-" 
bewe'getvariableDatat’riskAgseaement’, 
“rigk’} Lo > 


<yLOVOKe> 
casa 1g9D><coPpy> 
<*LIom Yariable-"riekABseaement"/> 返回 后 首次 使 用 
<to variable-"har®" /> 
ccoPy><y asalgn> 
(d) SOA 中 的 调用 耦合 


图 6-5 面向 对 象 (OO) 与 面向 服务 (SOA) 软 件 中 的 动态 绑 定 和 调用 耦合 
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@ 对 于 所 有 可 能 的 绑 定 获得 以 上 覆盖 准则 是 过 于 昂贵 的 ,一般 也 不 大 可 能 。 

例 6-7 蔡 伟 德 等 定义 了 一 个 服务 集成 测试 的 框架 , 称 为 Coyote, 支 持 测试 执行 和 测试 
场景 管理 。Coyote 工具 包含 两 个 部 分 : 测试 主 和 测试 引擎 ,测试 主 从 WSDL 规格 说 明 产 生 
测试 场景 ,而 测试 引擎 与 被 测试 的 服务 进行 交互 ,给 测试 主 提供 跟踪 信息 。 

例 6-8 ”Bertolino 等 提出 一 种 方法 确保 在 UDDI 中 注册 的 服务 之 间 的 互 操 作 性 ,任何 
已 经 注册 的 服务 都 可 以 与 正在 注册 的 服务 协同 工作 ,他 们 提出 UDDI 注册 要 从 一 个 被 动 的 
服务 目录 转变 为 一 个 负责 验收 审计 新 服务 的 权威 。 

集成 测试 中 的 服务 调用 也 关注 服务 层 协议 ,由 于 工作 流 中 每 个 抽象 服务 可 以 和 很 多 具 
体 服务 绑 定 (相当 于 具有 不 同 服务 质量 的 功能 点 ), 有 可 能 存在 某 些 绑 定 的 组 合 不 满足 服务 
层 协议 的 规定 。 

(3) 回归 测试 

服务 系统 不 同 于 传统 应 用 软件 的 一 个 重要 问题 是 服务 集成 商 对 服务 缺乏 控制 。 服 务 集 
成 商 选择 服务 ,将 它们 集成 到 服务 系统 中 ,并 假定 这 些 服 务 在 使 用 时 能 够 实现 它们 的 功能 和 
非 功能 特性 。 然 而 ,事实 不 是 这 样 的 ,正如 其 他 系统 一 样 ,各 种 被 集成 的 服务 也 要 不 断 地 维 
护 和 演化 ,而 且 , 维 护 和 演化 的 策略 不 在 集成 商 的 掌控 之 中 ,服务 的 变化 会 影响 正在 使 用 
它 的 软件 。 这 一 点 ,不 同 于 组 件 系 统 , 组 件 系 统 将 组 件 拷贝 集成 到 系统 中 , 当 原 组 件 进行 
维护 或 者 故障 修复 等 工作 时 ,系统 仍 可 以 使 用 旧 的 组 件 。 服 务 的 维护 和 故障 修改 存在 以 
下 场景 : 

@ 一 些 改变 不 需要 修改 服务 界面 或 规格 说 明 , 即 供应 商 认为 是 很 小 的 改动 。 结 果 , 这 
些 改动 对 使 用 该 服务 的 所 有 人 都 是 不 可 知 的 。 

@ 修改 虽然 不 影响 服务 功能 ,但 影响 服务 质量 ,服务 供应 商 没 有 做 相应 文档 ,结果 使 该 
服务 的 系统 的 服务 质量 会 受到 影响 。 

@ 一 个 服务 可 以 是 由 其 他 服务 复合 而 成 ,因此 ,服务 修改 的 影响 可 以 在 不 同 供应 商 之 
间 传 播 ,由 于 这 些 修改 和 受 影响 的 行为 之 间 存 在 一 定 距 离 ,即使 对 这 些 修改 进行 了 文档 和 告 
知 , 集 成 商 也 不 大 可 能 得 到 这 些 信息 并 作出 相应 反应 。 

以 上 场景 提出 了 一 个 新 的 需求 , 即 集成 商 要 周期 性 地 重新 测试 正在 使 用 的 服务 ,以 确保 
这 些 服务 仍然 满足 预期 的 功能 和 非 功 能 特征 。 为 实现 对 服务 的 周期 性 测试 ,Di Penta 等 提 
出 在 服务 描述 中 增加 提供 已 有 测试 用 例 的 方面 (facet) ,该 方面 以 基于 XML 的 功能 和 非 功 
能 断言 形式 进行 描述 。 一 个 方面 是 一 个 用 来 描述 服务 特定 性 质 的 XML 文档 ,例如 ,服务 
界面 (此 时 对 应 WSDL 界面 )、 服 务 质量 (QoS) 、 用 于 与 服务 潜在 用 户 谈 判 的 服务 层 协 议 
(SLA) 等 。 利 用 方面 描述 服务 的 方法 将 原先 的 UDDI 注册 方法 扩展 为 基于 XML 的 包含 
多 个 方面 的 注册 方法 。 然 而 ,其 他 方面 只 要 连接 服务 的 WSDL 描述 ,不 需要 定制 的 专 有 
的 注册 。 图 6-6 给 出 的 SOA 概念 模型 片段 就 是 利用 方面 来 描述 服务 性 质 的 ,一 个 方面 就 
是 用 一 种 语言 描述 的 方面 规格 说 明 , 如 用 WSDL 描述 的 界面 .服务 协议 描述 的 SLA。 在 
图 6-6 中 可 以 看 出 ,一 个 服务 可 以 被 描述 为 签名 、 操 作 语 义 、 服 务 质量 、 测 试用 例 等 多 个 
方面 。 

当 一 个 服务 集成 商 发 现 一 个 服务 并 想 使 用 的 时 候 , 他 就 会 下 载 这 个 服务 的 测试 用 例 方 
面 ,用 其 中 的 测试 用 例 集 检查 该 服务 是 否 具备 预期 的 功能 和 非 功 能 特性 。 服 务 的 这 个 测试 
用 例 集 包 含 了 开发 方 对 该 服务 软件 的 理解 。 
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图 6-6 服务 的 各 个 方面 的 规格 


例 6-9 图 6-7 描述 了 测试 用 例 发 布 和 回归 测试 过 程 的 几 个 可 能 场景 ,该 场景 涉及 服务 
供应 方 (Jim) 、 服 务 集成 方 (Alice 和 Jane) ,用 以 解释 提出 的 回归 测试 方法 的 测试 能 力 。 
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图 6-7 服务 回归 测试 : 测试 用 例 生成 与 执行 过 程 


QO@ Jim 部 署 了 一 个 餐馆 预订 服务 ,该 服务 允许 用 户 查 找 餐馆 ,获得 餐馆 信息 并 检查 其 
可 用 性 ,测试 该 餐馆 预订 服务 的 测试 用 例 也 一 起 发 布 。 

@ Alice 发 现 了 这 个 服务 ,查看 了 服务 层 协议 并 下 载 了 测试 用 例 集 ; 她 可 以 增加 一 些 
测试 用 例 , 然 后 对 这 些 测试 用 例 进行 执行 ,度量 该 服务 的 非 功 能 特性 ,在 与 供应 方 服务 层 协 
议 达 成 一 致 之 后 ,她 将 测试 用 例 和 测试 阶段 获得 的 服务 质量 断言 保存 了 起 来 。 

@ Alice 定期 使 用 该 服务 ,直到 : 

@ 一 段 时 间 之 后 ,Jim 更 新 了 该 项 服务 。 在 新 版 本 服务 中 ,返回 的 餐馆 标识 从 四 位 变 
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成 五 位 ,同时 由 于 配置 变化 ,该 服务 无 法 在 2 秒 之 内 响应 。 

GO Jane 经 常 使 用 该 服务 ,没有 发 现任 何 问题 。 她 使 用 一 个 域 可 视 化 工具 可 以 看 到 由 5 
个 字 节 组 成 的 餐馆 名 字 。 同 时 Jane 对 该 服务 的 交互 操作 是 受到 监控 的 。 

@@ 由 于 服务 的 变化 ,Alice 决定 对 其 进行 测试 。Jane 执行 该 服务 的 监控 数据 可 以 用 来 
减少 测试 用 例 执行 次 数 。 最 后 报告 功能 测试 和 非 功能 断言 的 成 功 和 失败 信息 。 

支持 服务 回归 测试 的 方面 模型 可 以 由 服务 开发 方 或 测试 人 员 手 工 建立 ,或 者 在 系统 单 
元 测试 阶段 产生 。 利 用 测试 用 例 集 建立 供应 方 和 用 户 之 间 的 合同 ,人 们 可 以 通过 运行 测试 
用 例 来 检查 服务 是 否 都 可 以 达到 合同 中 规定 的 功能 和 性 能 。 测 试用 例 约 简 是 服务 组 合 回 归 
测试 的 一 个 重要 问题 ,目前 主要 是 将 传统 方法 应 用 过 来 ,例如 ,利用 控制 流 图 (CFG) 中 已 改 
变 的 地 方 选择 适合 的 测试 用 例 进行 回归 测试 。 但 事实 上 ,几乎 没有 一 个 服务 供应 商会 提供 
服务 的 CFG。 

(4) 非 功能 测试 

面向 服务 的 软件 系统 中 , 非 功能 性 质 的 测试 是 非常 重要 的 ,主要 有 以 下 原因 : 
服务 供应 商 和 客户 之 间 规 定 了 服务 测试 协议 ,保证 了 客户 在 使 用 某 些 功 能 时 的 服务 
质量 。 然 而 ,在 有 些 条 件 下 ,由 于 用 户 出 乎 意料 的 输入 、 或 难以 意料 的 服务 负载 ,这 
样 的 服务 质量 可 能 难以 实现 。 

由 于 缺乏 健壮 性 和 可 恢复 性 ,对 于 一 些 非 正 常 行为 ,服务 可 能 在 供应 方 或 集成 方 产 
生 难 以 意料 的 副作用 。 
服务 是 面向 网 络 开放 的 ,可 能 受到 安全 攻击 。 

人 们 提出 了 很 多 不 同方 法 ,对 服务 软件 的 非 功能 特性 的 很 多 不 同方 面 进行 测试 : 

O 健壮 性 测试 。Martin 等 提出 一 种 自动 的 服务 健壮 性 测试 工具 ,该 工具 首先 根据 
WSDL 自动 生成 一 个 服务 客户 端 ,然后 ,任何 面向 对 象 程序 的 测试 用 例 生 成 工具 都 可 以 用 
来 执行 服务 健壮 性 测试 ,特别 地 ,Martin 等 使 用 了 JCrasher( 产 生 JUnit 测试 用 例 的 工具 )。 
他 们 使 用 这 个 健壮 性 测试 工具 对 Google 搜索 和 Amazon 等 服务 进行 了 测试 ,虽然 没有 能 够 
发 现 一 些 重要 问题 ,但 实验 显示 有 时 服务 会 被 挂 起 ,这 可 能 意味 着 存在 某 些 故障 。 

要 保证 服务 的 健壮 性 ,对 一 些 异 常 行为 不 仅 要 能 够 正确 反应 ,而 且 要 能 做 出 正确 处 理 ， 
实际 上 ,错误 恢复 代码 很 少 能 得 到 适当 的 测试 。 人 们 提出 了 异常 捕获 连接 的 概念 ,该 连接 用 
来 建立 错误 敏感 操作 和 程序 中 错误 捕捉 块 之 间 联 系 , 人 们 定义 了 对 这 种 连接 进行 获 盖 的 测 
试 准则 。 

@ 服务 层 协议 (SLA) 测 试 。 这 种 测试 的 目的 是 找 出 服务 无 法 提供 服务 层 协议 指定 服 
务 质量 的 条 件 , 在 给 客户 承诺 服务 质量 之 前 ,供应 商 应 该 尽量 减少 这 种 情况 的 发 生 。Di 
Penta 等 提出 利用 遗传 算法 对 原子 服务 和 服务 合成 进行 服务 层 协 议 测试 。 导 致 服务 软件 无 
法 达到 承诺 的 服务 质量 的 因素 很 多 ,主要 包括 用 户 输 入 、 抽 象 服务 最 终 绑 定 的 具体 服务 、 网 
络 配置 和 服务 器 负载 等 。 遗 传 算法 产生 用 户 输入 与 绑 定 服务 的 组 合 导致 服务 软件 无 法 达到 
服务 层 协议 要 求 。 

对 于 原子 服务 ,使 用 遗传 算法 产生 输入 ,通过 监视 服务 调用 过 程 中 的 服务 质量 ,如 响应 
时 间 、 知 吐 量 和 可 靠 性 等 ,当然 也 可 以 观察 领域 相关 的 服务 质量 。 监 视 取 得 的 服务 质量 作为 
生成 的 测试 用 例 的 适应 值 , 来 驱动 通过 交叉 变异 来 生成 新 的 测试 用 例 ; 那些 越 接近 违反 服 
务 协 议 的 测试 用 例 ,其 适应 值 越 高 。 为 了 能 够 利用 遗传 算法 生成 服务 输入 ,将 服务 输入 根据 
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XML 模式 表示 成 树 或 森林 结构 ,这样 就 可 以 通过 交叉 和 变异 操作 来 演化 服务 的 输入 空间 。 
对 于 服务 组 合 , 特 别 是 在 动态 绑 定 一 些 具体 的 服务 时 ,遗传 算法 产生 输入 与 绑 定 的 组 
合 , 使 其 导致 服务 协议 无 法 达到 。 实 际 上 ,同样 的 输入 ,不 同 的 绑 定 会 导致 不 同 的 服务 质量 。 
图 6-8 是 一 个 图 像 处 理工 作 流 ,我 们 作 如 下 假设 : 
。 服务 供应 商 保证 对 消费 者 的 响应 时 间 不 超过 30ms, 图 像 结 果 大 于 等 于 300 点 / 
英寸 。 
。 用 户 提 供 一 个 尺寸 小 于 20Mb 的 图 片 作为 输入 (这 是 服务 协议 的 前 提 ),posterize 一 
true, diml = dim2, nsharpen = 2。 


。 抽象 服务 分 别 绑 定 为 ScaleC、PosterizeC、SharpenB 和 GrayA。 


posterize=true posterize=false 


resolution=300dpi 
Teepe nts ScaleA 

resolution=800dpi J 
resp.irme=10ns ScaleB > 

resolution=500dpi [salec | 


resp.time=5ms 


1.Scale 


resolution=500dpi 
resp.time=10ms 
resolution=400dpi 
resp.time=7ms 


resolution=400dpi 
resp.time=7ms| 
resolution=600dpi 
resp.time=10ms 
resolution=300dpi [posterizeC|2 
resp.time=5ms, 


PosterizeA| 


PosterizeB[ resolution=300dpi 


resp.time=12ms 


resolution=900dpi 
resp.time=10ms 
resolution=200dpi 
resp, me=2e| sharpenB 


of 
resolution=700dpi ja 
resp time=8nts sharpenC 


图 6-8 ”服务 合成 的 服务 层 协议 测试 实例 


sharpenA [= 


在 这 种 情况 下 , 当 响 应 时 间 有 较 低 的 界 24ms 时 ,约束 可 以 满足 ,服务 合成 产生 的 图 片 
为 200 点 /英寸 时 ,就 对 应 被 调用 服务 的 最 低 质量 保证 。 另 外 一 种 情况 就 是 ,产生 输入 与 被 
调用 的 服务 间 的 各 种 组 合 时 ,就 可 能 出 现 服务 协议 达 不 到 的 场景 。 

@ 可 靠 性 测试 。 上 面 介绍 的 方法 有 一 个 特殊 的 目的 , 即 产生 服务 输入 (或 绑 定 ) 使 之 不 
满足 服务 协议 。 更 一 般 来 讲 , 对 一 些 关 键 的 商业 服务 软件 ,产生 可 以 导致 如 下 行为 的 输入 是 
非常 有 用 的 : 

。 安全 问题 ,例如 允许 未 授权 用 户 访问 敏感 数据 ; 

。 服务 挂 起 ; 

。 意 料 之 外 的 ,无 法 处 理 的 异常 ; 

。 服务 反应 中 无 法 观察 的 行为 。 

为 了 产生 有 效 输入 ,人 们 提出 基于 SOAP 消息 的 数据 扰动 方法 ,不 需要 修改 源 代码 ， 
就 能 改变 服务 软件 的 内 部 状态 。 该 方法 首先 向 服务 器 发 送 一 个 请 求 消息 数据 ,观察 服务 
器 反应 ,然后 每 次 修改 原始 请 求 消息 数据 ,并 重新 发 送 该 数据 ,观察 每 次 服务 器 反应 , 通 
过 比较 发 现 问题 。 数 据 扰动 方法 (Data Perturbation, DP) 包 括 3 种 形式 : 数据 值 扰动 方法 
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(Data Value Perturbation ,DVP) .远程 过 程 调用 (RPC) 通 信 扰 动 (Remote Communication 
Perturbation, RCP) 和 数据 通信 扰动 (Data Communication Perturbation ,DCP) 。 

数据 值 扰动 方法 (DVP) 根 据 服务 输入 参数 的 XML 模式 对 输入 参数 进行 修改 ,这 种 方 
法 类 似 于 边界 值 测试 方法 。 例 如 ,对 于 数值 型 变量 ,考虑 最 大 值 .最 小 值 和 0; 对 于 字符 串 ， 
考虑 最 大 长 度 串 和 最 小 长 度 串 等 。 

远程 过 程 调 用 通信 扰动 (RCP) 修 改 消息 和 通信 数据 ,特别 是 程序 中 使 用 的 数据 和 数据 
库 中 的 输入 数据 。 例 如 ,如 程序 中 使 用 的 数据 进行 变异 ,可 以 将 一 个 数值 改变 为 1/n, nx 
n, 一 nn 或 |n| 等 ,还 可 以 改变 参数 顺序 。 

例 6-10 如 果 服 务 有 2 个 输入 参数 用 户 名 和 密码 ,然后 使 用 查询 语句 检查 数据 库 中 是 
否 存在 这 个 用 户 名 和 密码 。 

SELECT username FROM adminuser 

WHERE username = 'turing'AND password = 'enigma' 


非 授 权 化 扰动 机 制 将 字符 串 'OR '1'=1' 附 在 用 户 名 和 密码 后 面 ,结果 查询 语句 变 为 : 


SELECT username FROM adminuser 
WHERE username = 'turing' OR '1'= 1'AND password = 'enigma'OR '1'=1' 

这 个 查询 总 能 通过 。 

另外 一 个 数据 扰动 的 例子 是 : 给 定 一 个 SOAP 消息 中 包含 描述 书 的 数据 结构 。 

<book> <ISBN>0—781- 44371—2</ISBN> <price> 69.99 </price> <year> 2003 </year> 

</book> 

具体 的 数据 扰动 可 以 是 发 送 一 个 : 四 空 的 数据 结构 实例 ; 四 允许 的 实例 个 数 ; 加 消息 
中 的 实例 的 几 个 副本 ; @ 从 消息 中 将 实例 去 掉 一 个 。 以 下 是 在 消息 添加 了 一 个 副本 的 
例子 : 

<book> <ISBN> 0-781- 44371— 2</ISBN> <price> 69.99 </price> <year> 2003 </year> 

</book > 

<book> <ISBN>0—781- 44371 -2</ISBN> <price> 69.99 </price> < year>2003 </year> 

</book > 

以 上 的 数据 扰动 是 有 用 的 ,可 以 检查 在 消息 中 有 副本 时 ,反馈 消息 中 是 否 有 不 同 的 
行为 。 

例 6-11 Looker 等 提出 一 种 故障 植 人 技术 来 评估 服务 可 靠 性 。 他 们 将 基于 SOAP 的 
网 络 消息 分 解 , 然 后 往 这 些 消息 中 注入 一 些 错误 。 他 们 将 服务 的 错误 模型 分 为 4 种 : 物理 
错误 .软件 错误 (程序 或 设计 错误 ) ,资源 管理 错误 (如 内 存 泄漏 等 ) 和 通信 和 错误。 通信 错误 包 
括 消息 重复 .消息 遗漏 、 额 外 附加 消息 (攻击 消息 )` 消 息 排序 的 改变 和 消息 的 滞后 等 。 

当 植 人 一 个 错误 时 ,服务 可 以 有 如 下 不 同 反 应 : 四 服务 崩溃 ; 加 网 络 服务 器 崩溃 ; @ 服 
务 挂 起 ; 四 服务 产生 破坏 的 数据 ; 回 服务 产生 的 数据 出 现 丢 失重 复 和 延迟 等 现象 。 错 误 
植 和 人 的 目的 就 是 要 确定 在 什么 程度 下 服务 仍 能 够 对 植 和 人 的 错误 输入 进行 正确 反应 ,具有 正 
常 的 异常 处 理 能 力 和 恢复 能 力 , 而 不 会 出 现 以 上 几 种 错误 。 

(5) 提高 可 测试 性 

面向 服务 软件 的 固有 特点 使 得 它 的 可 测试 性 具有 很 大 限制 ,根据 蔡 伟 德 等 人 的 工作 , 服 
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务 可 测试 性 受 限于 以 下 因素 : 

@ 服务 的 可 访问 性 , 即 源 代码 的 可 访问 性 、 二 进 制 可 访问 性 、 模 型 可 访问 性 ,签名 可 访 
问 性 等 。 

@ 描述 服务 的 数据 系列 ,这些 信息 是 服务 的 一 个 重要 方面 ,因为 集成 商 可 能 不 信任 这 
些 数据 。 

@ 面向 服务 软件 的 动态 性 。 

为 了 提高 服务 软件 的 可 测试 性 .人 们 提出 了 很 多 方法 。 

例 6-12 通过 扩充 WSDL 来 提供 更 多 信息 来 加 强 服务 的 可 测试 性 ,具体 来 讲 , 增 加 以 
下 信息 : 

Q@ 输入 输出 依赖 关系 。 利 用 WSDL 模式 引入 一 种 输入 输出 类 型 ,用 以 描述 服务 操作 
的 输入 输出 关系 。 

@ 调用 序列 。 在 服务 测试 中 的 一 个 重要 问题 就 是 一 个 服务 可 能 委托 男 一 个 服务 执行 
某 个 任务 ,测试 人 员 可 能 需要 知道 这 种 关系 ,利用 WSDL 模式 定义 一 种 调用 依赖 类 型 来 描 
述 调 用 者 和 被 调用 者 之 间 的 关系 。 

@ 功能 描述 。 建 立功 能 描述 的 层次 结构 可 以 增强 黑 盒 测 试 的 效果 。 

@ 操作 序列 规格 说 明 。 合 法 操作 的 调用 序列 可 以 用 范式 的 形式 表示 ,例如 ,OpenFile 。 
(ReadLine| WriteLine) *。Close 表示 打开 一 个 文件 ,对 文件 进行 零 次 或 多 次 读 或 写 ,最 后 
关闭 文件 。 

蔡 伟 德 等 也 提出 扩充 UDDI 注册 机 制 ,增加 测试 功能 ,在 UDDI 服务 器 中 除了 存储 
WSDL 的 规格 说 明之 外 ,还 要 存储 测试 脚本 。 

Heckel 等 提出 使 用 图 形 转换 系统 来 测试 服务 ,他 们 假定 服务 注册 中 存储 了 这 些 信 息 ， 
服务 供应 商 利 用 WSDL 等 接口 描述 语言 对 服务 进行 描述 ,用 图 形 转换 规则 来 描述 服务 行 
为 。 他 们 还 提出 利用 合同 设计 来 加 强 服务 测试 。 当 服务 提供 商 承诺 为 消费 者 提供 一 项 所 需 
要 的 服务 时 ,供销 合同 上 将 描述 这 项 功能 。 他 们 认为 服务 合同 应 该 包含 3 个 层次 : 

@ 模型 层 , 供 人 理解 的 。 

@ XML 层次 ,可 以 集成 为 已 有 的 WSDL 等 服务 标准 。 

@ 实现 层 , 可 以 被 一 些 工具 如 Parasoft Jtest 等 用 来 产生 测试 用 例 。 显 然 ,这 几 个 层次 
之 间 需 要 相应 的 映射 。 

在 服务 中 补充 测试 用 例 ,作为 合同 的 一 部 分 来 保证 该 服务 具有 相应 的 功能 和 非 功 能 特 
性 ,这 种 做 法 是 非常 有 用 的 。 

服务 测试 是 高 度 动态 的 ,如 运行 时 发 现 和 绑 定 , 这 就 需要 一 个 测试 中 间 代 理 , 可 以 将 测 
试 实现 与 测试 定义 剥离 ,将 待 测试 系统 与 测试 环境 分 开 , 这 样 当 待 测试 服务 改变 接口 操作 、 
改变 绑 定 和 运行 步 又 时 ,测试 中 间 代 理 就 可 以 进行 运行 时 绑 定 和 重新 配置 。 

服务 系统 测试 的 一 个 重要 问题 就 是 需要 一 个 用 于 评估 待 测试 服务 或 服务 组 合 的 服务 质 
量 的 测试 工具 ,这 些 工具 可 以 在 不 增加 成 本 或 副作用 的 前 提 下 ,准确 度量 服务 质量 。 


习题 6.3 
面向 服务 软件 有 什么 特点 ? 发 展 面向 服务 软件 具有 哪些 重要 意义 ? 
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6.4 构件 软件 测试 (Component Based Software Testing) 


在 过 去 几 十 年 中 ,软件 开发 方式 适应 时 代 发 展 要 求 已 经 发 生 了 很 多 变化 ,特别 是 随 着 时 
间 和 资金 压力 的 增加 ,出 现 了 基于 组 件 开发 的 概念 。 基 于 组 件 的 开发 将 软件 项 目 分 解 后 外 
包 给 其 他 开发 组 织 , 最 后 将 这 些 第 三 方 组 织 开发 出 来 的 组 件 组 装 成 完整 的 软件 系统 ,以 达到 
保证 软件 质量 、 提 高 效率 、 降 低 成 本 的 作用 ,是 人 们 用 来 克服 软件 危机 的 一 种 重要 途径 。 软 
件 组 件 是 一 个 可 以 重复 使 用 的 程序 单元 , 它 具 有 详细 的 接口 描述 、 明 确 的 上 下 文 依赖 和 确定 
的 质量 要 求 ,可 以 独立 部 署 ,可 由 第 三 方 开 发 。 

软件 组 件 式 开发 方法 来 源 于 传统 工程 领域 ,在 传统 的 工程 领域 中 ,产品 的 生产 先 从 零 部 
件 开始 ,然后 逐步 组 装 成 正式 产品 。 在 软件 开发 中 这 样 做 的 好 处 是 软件 组 件 可 以 多 次 重用 ， 
组 件 开 发 的 投资 可 以 挫 销 到 多 个 应 用 软件 当中 , 既 提 高 了 资源 利用 率 ,又 可 降低 成 本 。 而 
且 , 人 们 一 般 更 倾向 于 解决 好 规模 适当 的 小 问题 , 当 软 件 被 划分 为 组 件 时 ,每 个 组 件 可 经 过 
精心 设计 和 定义 ,从 而 容易 得 到 很 好 的 质量 。 在 构建 组 件 系统 过 程 中 ,合成 是 一 个 关键 技 
术 , 人 们 可 以 在 不 关心 组 件 本 身 细 节 的 基础 上 ,集中 精力 合成 新 的 软件 系统 。 

高 效 的 组 件 开发 的 一 个 挑战 是 组 件 的 粒度 和 相互 依赖 性 必须 在 开发 生命 周期 的 早期 就 
要 进行 适当 控制 。 组 件 一 般 在 供应 方 进行 开发 测试 ,组 件 的 开发 方 很 难 充 分 考虑 组 件 所 有 
可 能 的 应 用 场景 ,这 有 可 能 导致 组 件 在 新 的 应 用 中 出 现 问题 ,组 件 的 开发 方 和 使 用 方 会 从 不 
同 角度 ,利用 不 同 标准 对 组 件 进行 测试 ,这 是 组 件 测试 技术 的 最 大 问题 之 一 。 人 们 分 析 了 跟 
测试 相关 的 组 件 特征 ,主要 包含 以 下 4 个 方面 : 

(1) 组 件 可 观察 性 。 组 件 的 操作 行为 ,输入 参数 和 输出 可 以 被 观察 的 容易 程度 ,组 件 接 
口 的 设计 和 定义 对 于 决定 组 件 可 观察 性 起 着 主要 作用 。 

(2) 组 件 可 追踪 性 。 组 件 跟踪 其 属性 状态 和 行为 状态 的 能 力 , 前 者 称 为 行为 可 追踪 性 ， 
组 件 具有 跟踪 其 内 部 和 外 部 行为 的 能 力 ; 后 者 称 为 跟踪 可 控制 性 ,组 件 具有 调整 跟踪 功能 
的 能 力 。 

(3) 组 件 可 控制 性 。 组 件 的 输入 输出 、 操 作 和 行为 的 可 控制 难 易 程度 。 

(4) 组 件 可 理解 性 。 组 件 信 息 可 以 提供 多 少 ,并 且 这 些 提 供 的 信息 质量 如 何 。 

对 于 那些 非常 重要 的 组 件 , 必 须要 认真 设计 测试 计划 ,进行 科学 系统 的 测试 。 例 如 ,对 
于 那些 经 常 重用 的 组 件 需 要 进行 广泛 的 测试 ; 对 于 那些 领域 组 件 不 仅 要 对 其 正确 性 进行 测 
试 ,还 要 测试 其 文档 描述 的 准确 性 ; 商业 组 件 不 仅 要 作为 可 重用 组 件 进行 测试 ,还 要 测试 其 
作为 潜力 资源 的 可 靠 性 。 组 件 测试 的 目标 是 检查 组 件 的 实现 是 否 与 规格 说 明 一 致 ,是 否 充 
分 实现 了 所 有 需求 。 组 件 测试 有 很 多 策略 ,主要 包括 以 下 几 个 方面 : 

(1) 组 件 认 证 。 通 过 一 套 组 件 认证 方法 ,确认 组 件 的 高 可 靠 性 和 对 相应 系统 的 高 质量 
性 。 通 过 黑 盒 测试 .故障 植 人 测试 和 系统 容错 测试 等 对 组 件 的 质量 进行 评估 。 

(2) 组 件 综合 信息 方法 。 所 谓 组 件 综合 信息 是 指 组 件 供应 商 提 供 的 关于 组 件 的 各 种 信 
息 ,每 种 信息 都 有 特别 的 格式 和 标记 。 组 件 综合 信息 方法 利用 这 些 信息 对 组 件 进行 分 析 和 
测试 。 组 件 综合 信息 是 由 组 件 供应 商 利 用 分 析 技 术 收集 的 信息 ,这 些 信息 提供 给 用 户 , 用 户 
就 可 以 不 再 需要 源 代码 ,组件 用 户 应 该 可 以 在 组 件 中 查询 这 些 信息 。 组 件 中 每 个 操作 的 输 
入 空间 被 分 成 若干 子 域 , 每 个 子 域 都 附 有 说 明 ,这 些 说 明 可 以 作为 测试 组 件 时 的 查询 信息 。 
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(3) 利用 组 件 的 UML 模型 进行 测试 。 利 用 UML 序列 图 和 协助 图 模型 设计 测试 用 例 
检测 组 件 间 交 互 可 能 存在 的 问题 ,UML 测试 模型 包含 表示 集成 组 件 的 结 点 和 表示 组 件 间 
交互 的 消息 流 。 测 试用 例 的 选择 根据 图 模型 测试 标准 来 进行 。 


习题 6.4 
基于 组 件 的 软件 系统 与 传统 软件 系统 有 哪些 不 同 之 处 ? 


6.5 Web 应 用 软件 测试 (Web Testing) 


1. 概念 


对 于 Web 应 用 软件 来 说 ,测试 也 是 为 了 发 现 软件 的 错误 并 最 终 修 正 错误 而 运行 软件 的 
过 程 , 但 由 于 基于 Web 的 系统 和 应 用 存在 于 网 络 上 ,并 且 和 很 多 不 同 的 操作 系统 、 浏 览 器 
(或 其 他 界面 设备 如 PDA、 手 机 等 )\ 硬 件 平台 .通信 协议 后 台 应 用 进行 交互 ,因此 对 于 Web 
应 用 软件 的 测试 具有 更 大 的 挑战 。 


2. 目标 


Web 应 用 软件 如 果 出 现 质量 问题 ,将 严重 影响 公司 形象 ,动摇 终端 客户 或 用 户 的 信心 ， 
Web 应 用 软件 测试 就 是 为 了 发 现 Web 应 用 中 的 内 容 、 功 能 、 易 用 性 导航、 性能、 容量 .安全 
性 等 方面 的 错误 ,为 了 系统 有 效 地 检测 这 些 可 能 的 错误 ,需要 使 用 包括 静态 评审 和 动态 执行 
测试 在 内 的 各 种 测试 方法 。 


3. 原理 


为 了 理解 Web 测试 的 目标 ,必须 考虑 影响 Web 应 用 质量 的 10 个 方面 : 

(1) 内 容 (Content) 是 在 语法 和 语义 级 别 的 评估 。 在 语法 级 ,要 评估 基于 文本 的 文档 中 
的 拼写 ,标点 、 语 法 等 ; 在 语义 级 ,要 评估 信息 表现 的 正确 性 、 整 个 内 容 对 象 和 相关 对 象 的 一 
致 性 .无 二 义 性 。 

(2) 功能 (Function) 测 试 是 要 发 现 与 客户 需求 不 符 的 错误 。 每 个 Web 应 用 功能 要 评测 
其 正确 性 ,不 稳定 性 (Instability) ,与 实现 标准 的 符合 性 (如 Java 或 者 XML 语言 标准 )。 

(3) 结构 (Structure) 评 估 要 确保 正确 发 布 了 Web 应 用 的 内 容 和 功能 ,并 且 是 可 扩展 
的 ,支持 新 内 容 和 新 功能 的 增加 。 

(4) 易 用 性 (Usability) 测 试 是 要 确保 对 每 一 类 用 户 都 要 有 相应 的 界面 支持 ,用 户 要 能 
学 习 和 应 用 所 有 的 功能 .所 有 需要 的 导航 句法 和 语义 。 

(5) 导航 (Navigability) 测 试 要 确保 所 有 的 导航 句法 和 语义 都 被 测试 ,从 而 发 现 有 关 导 
航 的 任何 错误 ,例如 死 链接 .不 合适 的 连接 、 错 误 的 链接 等 。 

(6) 性 能 (Performance) 测 试 检测 各 种 操作 条 件 、 配 置 、 负 和 载 变 化 的 情况 下 ,系统 在 响应 
用 户 交互 和 处 理 极限 负载 时 ,性 能 没有 出 现 不 可 接受 的 退化 。 

(7) 兼容 性 (Compatibility) 测 试 通 过 在 服务 器 和 客户 端 不 同 的 配置 情况 下 ,执行 Web 
应 用 ,目的 是 发 现 跟 某 种 配置 相关 的 错误 。 
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(8) 互 操作 性 (Interoperability) 测 试 是 检查 Web 应 用 与 其 他 应 用 或 数据 库 进 行 交 互 。 

(9) 安全 性 (Security) 测 试 是 评估 潜在 的 易 受 攻击 的 弱点 并 尽量 发 现 这 些 弱点 ,任何 成 
功 的 渗透 都 是 安全 上 的 漏洞 。 

(10) 运行 环境 (Configuration) 测 试 主要 检测 Web 应 用 对 于 各 种 复杂 的 软 硬 件 环 境 能 
否 正常 工作 ,很 多 错误 可 能 只 在 某 些 特定 的 环境 中 出 现 。 有 些 错误 出 现在 运行 过 程 中 的 动 
态 环境 中 ,如 实时 资源 负载 .网 络 拥挤 等 。 


4. 方法 


Web 应 用 是 一 种 特殊 的 软件 系统 ,因此 ,Web 应 用 测试 方法 与 一 般 的 软件 测试 方法 类 
似 , 主 要 包含 以 下 步骤 : 

(1) 评审 Web 应 用 的 内 容 模型 以 发 现 内 容错 误 ,评审 Web 应 用 的 接口 模型 及 设计 模 
型 以 发 现 导航 错误 。 

(2) 测试 用 户 界面 并 选择 每 个 功能 模块 进行 单元 测试 。 

(3) 在 各 种 不 同 配 置 环境 下 实现 Web 应 用 ,并 测试 每 种 配置 的 兼容 性 。 

(4) 由 一 定数 量 的 最 终 用 户 测试 Web 应 用 ,他 们 和 系统 的 交互 结果 用 来 评估 Web 应 
用 的 内 容 、 导 航 有 效 性 、 易 用 性 、 可 靠 性 和 安全 性 等 各 种 性 能 。 


5. 实例 


我 们 每 个 人 应 该 都 很 熟悉 网 站 ,因为 网 络 已 经 渗透 进 社会 生活 ,网 站 是 网 络 世 界 的 窗 
口 。 人 们 对 于 网 站 质量 的 期 望 已 经 超过 了 对 一 般 商 品质 量 的 要 求 。 对 于 普通 商品 ,人 们 一 
且 购 买 了 它 , 只 要 质量 说 得 过 去 ,人 们 就 会 使 用 它 。 然 而 对 于 网 站 ,如 果 质 量 有 问题 ,例如 ， 
在 竞争 者 网 站 只 需要 几 秒 钟 就 能 做 的 事情 ,而 自己 的 网 站 却 要 几 分 钟 , 甚 至 更 长 时 间 ,客户 
就 会 流失 到 竞争 者 那里 。 因 此 ,网 站 质量 不 仅 会 给 公司 造成 客户 的 流失 ,更 重要 的 会 严重 地 
损害 公司 形象 。 毕 竟 ,一 个 公司 如 果 网 站 都 做 不 好 ,怎么 可 能 可 以 赢得 消费 者 的 信任 呢 ? 
而 网 站 测试 具有 非常 重要 的 意义 和 价值 。 

本 书 已 经 介绍 过 很 多 通用 的 软件 测试 技术 ,可 以 利用 Windows 的 写字 板 、 计 算 器 和 夯 
图 软件 试验 使 用 这 些 方法 。 一 个 非常 时 新 的 非常 现实 的 可 以 综合 使 用 各 种 测试 技术 的 测 
试 对 象 就 是 网 站 测试 。 网 站 测试 涉及 软件 测试 的 很 多 方法 和 技术 ,如 配置 测试 .兼容 性 测 
试 . 可 用 性 测试 ,文档 测试 ,安全 性 测试 ,如 果 是 世界 范围 内 可 以 访问 的 网 站 ,还 包括 国际 化 
和 本 地 化 测试 。 或 者 说 ,网 站 测试 可 以 使 用 所 有 的 黑 盒 测试 、 白 盒 测试 .静态 测试 和 动态 测 
试 技术 。 一 个 网 站 的 页 面 通常 都 是 一 些 文字 、 图 片 、 声 音 、 视 频 和 超 链接 组 成 ,如 图 6-9 所 示 
的 扬子 晚报 的 新 闻 网 站 的 主页 ,从 这 个 主页 上 可 以 看 到 ,不 同 颜色 、 格 式 和 大 小 的 文字 ; 图 
片 和 照片 ; 带 有 超 链 接 的 文本 和 图 片 ; 滚动 的 广告 ; 具有 下 拉 选 择 框 的 文本 ; 用 户 可 以 输 
入 数据 的 输入 域 等 。 

网 站 具有 很 多 不 是 非常 明显 的 功能 ,这 些 功 能 使 得 它 更 加 复杂 ,例如 ,网 页 具有 可 以 改 
变 的 信息 在 屏幕 上 显示 的 布局 ; 允许 用 户 定制 选择 他 们 想 看 的 信息 ; 动态 的 下 拉 选 择 框 ; 
可 以 动态 改变 的 文本 ; 关于 网 页 显示 的 选项 信息 ; 对 各 种 浏览 器 和 硬件 配置 的 兼容 性 ; 各 
种 隐藏 的 格式 、 标 签 以 及 未 来 增强 网 页 可 用 性 的 做 入 信息 等 。 特 别 是 对 于 一 些 电子 商 务 网 
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图 6-9 扬子 晚报 网 主页 


站 ,具有 很 多 安全 防范 措施 。 如 果 读 者 是 一 个 职业 的 软件 测试 人 员 ,可 能 会 跃跃欲试 ,对 这 
个 网 站 进行 测试 。 

下 面 将 首先 考虑 对 这 个 网 站 进行 黑 盒 测试 。 网 站 给 人 们 提供 了 一 个 非常 好 的 实践 场 
所 ,可 以 不 去 拿 别人 的 程序 来 测试 ,只 需要 在 网 站 的 各 个 页 面 上 跳 来 跳 去 ,开始 人 们 的 测试 。 
整个 网 站 就 是 一 个 黑 盒子 ,人 们 不 知道 它 如 何 工 作 , 甚 至 不 知道 规格 说 明 , 只 有 面前 的 这 个 
网 站 。 

如 果 把 网 站 的 每 一 页 处 理 成 一 个 状态 ,把 网 页 之 间 的 链接 处 理 成 一 条 有 向 线 , 由 此 可 以 
建立 这 个 网 站 的 结构 图 。 对 于 文本 的 测试 ,可 以 利用 “文档 测试 "一 节 学 习 到 的 方法 进行 。 
对 于 文本 中 出 现 的 通信 方式 进行 测试 ,看 看 是 否 可 以 联系 。 检 查 版 权 申 明 的 内 容 和 日 期 ; 
检查 有 些 动态 说 明 信 息 是 否 可 以 正常 显示 ,例如 , 当 用 户 鼠 标 移 到 一 个 图 片 或 文本 ,就 会 弹 
出 一 个 文本 框 ,检查 这 种 文本 框 是 否 在 各 种 配置 下 都 工作 ; 检查 当 浏览 器 窗口 的 高 度 和 宽 
度 变化 时 ,是 否 可 以 正常 显示 。 

对 于 网 页 中 各 种 超 链 接 , 检 查 是 否 可 以 链接 到 相应 的 网 页 ,检查 链接 标记 是 否 明显 (一 
般 是 加 下 划 线 ,或 当 鼠 标 移 到 时 变 成 其 他 形状 ) ,检查 是 否 有 无 法 访问 的 页 面 。 对 于 页 面 中 
的 各 种 图 片 ,要 检查 是 否 可 以 正常 显示 ,查看 页 面 加 载 时 的 速度 ,比较 测试 局 域 网 和 远程 网 
网 页 的 图 片 显示 效果 和 速度 。 检 查 页 面 中 表格 ,对 每 个 输入 域 进行 输入 测试 ,检查 它们 是 否 
能 接收 正确 数据 而 拒绝 不 正确 数据 。 

一 个 网 站 就 是 一 个 软件 , 它 可 以 包含 一 个 点 击 计数 器 ` 滚 动 的 文本 \ 不 断 变 化 的 广告 内 
置 的 搜索 引擎 。 设 计 测 试 时 ,要 首先 找 出 每 个 网 页 具有 的 功能 ,把 每 个 功能 当成 一 个 独立 的 
软件 ,并 利用 已 有 的 软件 测试 方法 和 标准 来 单独 测试 。 如 果 一 个 网 页 处 理 数据 ,就 要 对 处 理 
的 数据 进行 边界 值 分 析 、 等 价 类 划分 等 处 理 。 如 果 测 试 人 员 懂 得 使 用 HTML, 了 解 网 页 工 
作 原 理 , 那 么 就 能 做 一 些 灰 盒 测试 , 即 介 于 黑 盒 和 白 盒 之 间 的 测试 ,根据 自己 的 兴趣 ,做 一 些 
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更 有 效 的 测试 。 

有 很 多 网 络 编程 语言 和 技术 ,例如 ,DHTML、Java、ASP、ActiveX 等 ,作为 测试 人 员 无 
须 成 为 这 些 语言 和 工具 的 专家 ,只 要 能 够 熟悉 和 阅读 ,并 能 设计 相应 的 测试 用 例 就 可 以 了 。 
对 于 利用 这 些 语言 和 工具 产生 的 内 容 , 如 动态 内 容 数据库 驱动 的 网 页 ,编程 产生 的 网 页 ,以 
及 服务 器 性 能 和 下 载 等 方面 的 测试 都 需要 做 一 些 白 盒 测试 。 特 别 是 一 些 金融 医疗 和 电子 
商务 网 站 ,这 些 网 站 包含 一 些 极为 保密 的 用 户 资料 ,网 站 安全 性 极为 重要 ,为 了 进行 充分 的 
安全 性 测试 ,也 需要 从 内 部 工作 原理 出 发 做 白 盒 测 试 。 配 置 兼容 性 测试 和 可 用 性 测试 是 网 
站 测试 的 一 个 重点 和 难点 ,可 以 使 用 关于 软件 配置 测试 ,兼容 性 测试 和 可 用 性 测试 的 一 般 方 
法 和 技术 。 网 站 测试 存在 着 巨大 的 工作 量 , 纯 粹 手工 完成 ,几乎 是 不 可 能 的 ,因此 要 充分 使 
用 各 种 自动 化 测试 工具 。 网 站 系统 只 是 众多 的 软件 系统 中 的 一 种 , 正 是 由 于 多 种 多 样 的 软 
件 系统 ,为 软件 测试 提出 了 没有 止境 的 问题 ,伴随 着 各 种 新 技术 的 出 现 , 新 软件 的 发 布 , 越 来 
越 多 的 软件 测试 问题 会 不 断 地 被 解决 。 


习题 6.5 


1. 网 站 的 页 面 有 哪些 基本 元 素 ? 
2, 对 一 个 网 站 一 般 要 从 哪些 方面 进行 测试 ? 


6.6 普 适 计算 环境 下 的 软件 测试 (Pervasive Computing 
Software Testing) 


普 适 计算 使 得 计算 无 时 不 在 ,无 处 不 有 ,并 使 得 计算 实体 隐藏 在 场景 之 后 ,人 们 只 需 
集中 精力 做 好 日 常 工作 ,无须 分 散 精力 于 操作 各 种 技术 和 设备 。 普 适 计算 环境 通常 将 物理 
环境 和 修 辑 部 件 整合 在 一 起 形成 一 个 聪明 的 或 者 主动 的 空间 ,在 这 个 环境 下 计算 实体 应 该 
能 够 感知 被 称 之 为 背景 或 上 下 文 的 环境 属性 。 

普 适 计算 软件 是 实现 普 适 计算 的 关键 技术 ,这 种 软件 是 上 下 文敏 感 的 ,可 以 根据 环境 因 
素 的 变化 主动 地 进行 适应 性 调整 。 当 环境 发 生变 化 时 , 普 适 计算 软件 可 以 自动 地 选择 资源 
和 通信 实体 ,选择 相应 的 执行 算法 。 人 们 已 经 提出 并 开发 了 很 多 不 同 的 普 适 计算 软件 ,一般 
地 ,这 类 软件 系统 集成 了 环境 相关 的 数据 公式 、 事 件 、 编 程 框架 ,以 及 上 下 文 信息 的 获取 和 通 
信和 机制 。 不 同 的 普 适 计算 软件 因 不 同 的 研究 目的 和 观点 ,在 模型 和 规格 上 有 所 不 同 ,但 绝 大 
多 数 系统 采用 了 基于 中 间 件 的 系统 结构 。 中 间 件 技术 可 以 将 不 同 设备 .人 机 之 间 以 及 外 部 
环境 的 通信 和 数据 处 理 封装 起 来 ,形成 统一 接口 ,这 样 使 用 起 来 非常 简单 灵活 。 基 于 中 间 件 
的 结构 , 普 适 计算 软件 其 实 是 一 组 软件 的 集合 ,这 组 软件 就 是 中 间 件 ,通过 这 些 中 间 件 与 外 
部 环境 的 交互 通信 以 及 提供 的 服务 , 普 适 计算 软件 可 以 及 时 广泛 地 收集 外 部 信息 ,很 好 地 调 
整 自 身 行为 ,为 用 户 提供 准确 的 服务 。 

普 适 计算 软件 历史 较 短 ,但 应 用 广泛 ,没有 统一 的 模型 ,传统 的 测试 技术 难以 充分 发 挥 
作用 , 普 适 计算 软件 测试 面临 的 挑战 主要 体现 在 3 个 方面 : 

首先 是 上 下 文 背景 是 挥发 性 的 和 瞬 态 的 ,以 流 的 形式 从 普 适 环境 中 传播 ,程序 执行 过 程 
中 ,由 于 环境 的 自发 的 互 操作 ,背景 值 可 能 不 断 变化 。 如 果 程 序 是 利用 中 断 驱 动 的 语言 实现 
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的 ,程序 的 执行 可 能 会 因为 背景 值 的 变化 而 被 分 成 一 些 片段 。 不 同 的 执行 片段 利用 当前 的 
背景 状态 ,执行 相应 的 行为 ,以 适应 环境 的 变化 。 程 序 的 行为 不 仅 依赖 于 输入 ,还 依赖 于 环 
境 , 即 对 于 同样 的 输入 ,不 同 的 背景 ,程序 执行 结果 是 不 一 样 的 。 由 于 背景 具有 很 强 干扰 性 ， 
程序 执行 过 程 很 难 重 现 。 普 适 计算 环境 的 这 些 特 点 使 得 程序 中 控制 流 和 数据 流 变 得 更 加 复 
杂 , 传 统 单元 测试 中 的 测试 用 例 生 成 方法 对 于 普 适 计算 软件 的 测试 不 再 充分 。 

其 次 , 普 适 计算 环境 中 的 物理 背景 本 质 上 是 不 稳定 的 ,有 干扰 和 不 精确 的 ,这 大 大 增加 
了 软件 测试 的 难度 。 例 如 ,定位 仪 的 误差 大 概 在 1m 左右 ,在 测试 一 个 定位 软件 的 时 候 , 对 
于 1. 5m 的 误差 ,就 很 难 区 分 是 软件 错误 还 是 硬件 故障 。 

最 后 , 普 适 计算 软件 中 的 各 个 计算 实体 (服务 或 代理 ) 是 独立 的 和 自我 为 中 心 的 ,每 个 实 
体 都 只 关心 与 自己 相关 的 环境 信息 , 当 一 个 任务 涉及 多 个 计算 实体 时 ,这 些 实体 通过 它们 相 
应 的 周围 环境 相互 交互 .相互 合作 。 从 这 个 方面 来 讲 , 普 适 计算 软件 测试 与 传统 的 集成 测试 
不 同 ,对 于 多 个 程序 单元 ,这 里 没有 明确 的 调用 等 级 体系 。 


习题 6.6 
什么 是 普 适 计算 ? 它 具 有 哪些 特点 ? 


6.7 云 测试 (Cloud Testing ) 


1. 云 测试 的 概念 


云 测试 是 一 种 软件 测试 形式 ,其 中 网 络 应 用 程序 使 用 云 计算 环境 来 模拟 现实 世界 的 用 
户 流量 作为 负载 和 压力 测试 的 一 种 方式 。 

云 测试 本 质 上 是 一 种 软件 测试 形式 ,其 中 测试 是 利用 云端 的 资源 (如 主机 或 服务 等 ) ,此 
外 ,整个 测试 环境 可 以 按 需 从 云端 获得 。 

我 们 认为 , 云 测试 作为 一 种 云 服 务 和 软件 测试 相 结合 的 产物 ,尽管 现在 主要 利用 云 的 强 
大 计算 能 力 和 存储 能 力 模拟 用 户 的 负载 来 做 压力 测试 ,但 是 随 着 云 计算 的 不 断 发 展 ,软件 测 
试 中 越 来 越 多 以 往 环境 中 无 法 解决 或 需要 很 大 代价 来 解决 的 问题 都 可 以 利用 云 解决 ,与 此 
同时 , 云 测 试 将 会 涉及 越 来 越 多 的 测试 领域 。 


2. 云 测试 的 研究 背景 


当前 软件 系统 的 发 展 非常 迅速 .软件 的 规模 和 复杂 度 都 已 经 对 传统 的 软件 测试 提出 了 
很 大 的 挑战 。 可 以 总 结 出 以 下 3 点: 

(1) 对 于 大 规模 的 软件 系统 ,需要 大 量 的 测试 用 例 , 即 使 具有 很 强 计 算 能 力 的 计算 机 ， 
也 需要 花费 大 量 的 计算 时 间 , 这 在 敏捷 开发 中 是 一 个 很 大 的 瓶颈 (计算 能 力 ) 。 

(2) 软件 测试 是 需要 耗费 一 定 资源 的 ,如 提供 负载 能 力 的 模拟 资源 .一些 待 测 环境 的 硬 
件 资源 等 等 ,在 传统 的 软件 测试 中 , 若 要 满足 这 些 资 源 是 需要 很 大 的 代价 的 ,特别 是 那些 硬 
件 资源 ,因为 一 个 企业 不 是 总 具备 那些 可 用 的 硬件 设施 的 (模拟 能 力 ) 。 

(3) 现在 系统 对 易 用 性 、 灵 活性 和 对 实时 数据 的 需求 也 超过 了 人 们 的 预期 ,这 需要 快速 
的 适应 不 断 变化 的 市 场 ,而 传统 软件 测试 的 周期 已 渐渐 无 法 适应 这 种 快速 的 节奏 ,对 新 的 快 
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速 便 捷 的 测试 的 需求 也 越 来 越 多 。 

而 云 计 算 的 出 现 , 为 我 们 解决 此 类 问题 提供 可 行 的 思路 。 云 是 一 个 可 供 网 络 便捷 的 访 
问 的 一 个 共享 的 资源 池 ,所 需要 的 资源 可 以 快速 方便 地 建立 和 配置 。 由 云 的 概念 ,我们 可 以 
看 出 , 云 庞 大 的 资源 (包括 计算 资源 ) 可 以 为 客户 提供 强大 的 计算 能 力 , 会 完成 待 测 系统 更 大 
的 测试 覆盖 ,那些 以 前 无 法 完全 执行 的 测试 用 例 云 也 可 以 全 部 通过 ,而 云 方便 的 资源 配置 管 
理 使 得 我 们 使 用 虚拟 技术 模拟 大 量 的 测试 所 需 资源 成 为 可 能 。 云 是 以 服务 的 方式 为 客户 提 
供 各 种 资源 ,这 样 系统 的 开发 可 以 便捷 快速 地 使 用 网 上 云 提供 的 测试 服务 ,缩短 软件 开发 周 
期 ,从 而 使 得 软件 系统 可 以 快速 地 适应 市 场 。 因 此 ,在 云 上 应 用 测试 ( 即 云 测试 ) 是 解决 传统 
软件 测试 难题 的 一 个 很 好 的 方案 。 

在 解决 以 往 问题 的 同时 , 云 测试 还 有 很 多 很 好 的 优点 ,如 很 好 的 计价 模型 一 一 云 测试 使 
用 “pay-as-you-go” 的 付费 模式 , 即 客户 只 需 为 自己 消耗 的 服务 资源 付费 ,这 种 付费 模式 更 加 
绿色 和 合理 ,并 且 云 测试 将 会 驱动 测试 标准 化 和 提供 很 好 的 全 球 化 服务 平台 。 

当然 , 云 测试 也 是 存在 很 多 的 问题 ,如 安全 、 管 理 以 及 相关 的 基础 设施 的 问题 。 鉴 于 云 
测试 将 是 现 有 系统 中 的 测试 问题 的 很 好 的 解决 方案 ,但 是 仍然 有 很 多 开放 性 的 难题 有 待 解 
决 ,因此 ,有 必要 对 云 测 试 进行 更 加 深入 的 研究 。 


3. 云 测试 当前 的 研究 方向 


根据 STITC(Software Testing in the Cloud, 云 中 的 软件 测试 ) 协 会 的 定义 , 云 测 试 的 
研究 现 集中 在 以 下 3 个 方面 : 

。 Test in the Cloud 这 是 指 通过 利用 云 计算 基础 设施 所 提供 的 资源 ,来 促进 测试 用 
例 在 虚拟 环境 下 的 并 发 执行 。 
Test of the Cloud 这 是 指 测试 那些 托管 或 部 属 在 云端 的 程序 。 
Migrating Testing to the Cloud 这 是 指 将 当前 的 测试 过 程 、 测 试 设备 以 及 它们 的 
基础 设施 向 Test in the Cloud 或 Test of the Cloud 迁移 。 以 下 将 逐一 介绍 它们 各 
自 的 特点 以 及 现状 。 

(1) Test in the Cloud 

J@ 原因 

现代 软件 系统 的 复杂 度 和 规模 使 得 需要 更 加 强大 的 计算 能 力 和 模拟 能 力 才能 够 全 面 深 
入 地 测试 ,而 云 测试 则 为 测试 人 员 提 供 了 几 近 无 限 的 资源 ,其 中 包括 计算 、 存 储 、 网 络 带 宽 、 
便捷 的 测试 服务 等 等 ,这 些 都 为 上 述 问题 的 解决 提供 了 硬件 和 软件 上 的 支持 。 

@ 优点 

云 可 以 模拟 测试 所 需 的 资源 ,以 前 不 可 能 或 需要 很 大 的 代价 才能 完成 的 测试 都 可 以 使 
用 云 模拟 的 资源 动态 地 进行 测试 ,并 且 这 些 资 源 是 按 需 供给 的 ,可 以 方便 地 建立 .扩展 和 
撤销 。 

云 可 以 提供 类 似 现实 的 负载 能 力 .使 得 以 往 无 法 做 到 “真实 ”的 测试 系统 的 性 能 的 问题 
得 以 解决 。 

利用 云 强 大 的 计算 能 力 可 以 执行 数量 巨大 的 测试 用 例 .那些 回归 测试 以 及 需要 大 量 测 
试用 例 的 软件 测试 都 可 以 很 快 地 在 云 上 执行 。 

云 的 计 费 模型 , 即 现 用 现 付 (pay-as-you-go) ,使 得 云 测试 的 收费 更 加 合理 ,这 也 是 对 资 
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源 的 一 种 合理 的 配置 方案 。 

@ 当前 挑战 

工 . 安全 问题 。 不 同 于 本 地 执行 测试 ,在 云 中 测试 的 数据 可 能 需要 通过 网 络 传输 ,而 如 
果 这 是 些 非 常 私 密 的 数据 ,那么 会 有 遭 到 攻击 的 风险 。 

下 . 标准 问题 。 对 在 云 中 测试 ,我 们 现在 还 欠缺 统一 的 标准 测试 模型 和 方法 ,对 于 适用 
于 云 测试 的 传统 应 用 还 需要 进行 严格 的 归 类 以 指导 之 后 的 工作 。 

亚 . 管理 问题 。 由 于 云 测试 的 特性 ,各 种 资源 需要 合理 的 配置 才能 发 挥 云 的 优势 ,比如 
人 力 资源 的 分 配 , 必 须 将 测试 供应 商 和 需求 商 协调 分 配 。 

@ 当前 的 方向 

Manuel Oriol 和 Faheem Ullah 两 人 在 YETI on ihe Cloud (YETI 是 自动 化 随机 测试 
工具 ,可 以 测试 用 不 同 的 编程 语言 实现 的 程序 ) 这 篇 论文 中 讲述 了 云端 版 本 的 YETI, 这 个 
版 本 的 实现 是 搭建 在 Apache 的 开源 的 云 框架 : Hadoop 之 上 的 ,其 中 的 Map/Reduce 方法 
使 得 测试 用 例 能 够 并 行 地 运行 在 多 台 计 算 结 点 之 上 并 最 终 汇总 处 理 , 这 显著 减少 了 运行 时 
间 并 提高 了 测试 的 执行 效率 。 日 本 的 学 者 Toshihiro Hanawa 等 人 提出 来 的 一 个 云 测 试 环 
境 一 一 D-Cloud,D-Cloud 侧重 于 使 得 测试 大 规模 的 分 布 式 并 行 系统 变 得 可 能 ,并 且 可 以 实 
现 配置 自动 化 .利用 测试 场景 的 描写 来 实现 故障 注入 。 

(2) Test of the Cloud 

J@ 原因 

随 着 云 计算 超出 人 们 预料 的 快速 发 展 , 越 来 越 多 的 企业 公司 投资 云 计 算 的 建设 ,很 多 云 
计算 的 服务 和 应 用 都 部 署 起 来 供用 户 方便 地 通过 网 络 访问 ,大 量 的 文献 对 云 计算 的 应 用 和 
服务 进行 研究 和 建 模 。 然 而 , 却 只 有 很 少 有 人 去 研究 如 何 对 它们 测试 ,以 及 如 何 衡量 云 计 算 
服务 的 质量 。 

@ 优点 

对 云 的 测试 可 以 为 云 计算 服务 的 质量 制定 指标 ,使 得 客户 可 以 放心 地 在 已 有 的 云 服务 
上 开发 或 接受 服务 。 

云 计算 不 断 发 展 需 要 一 个 可 以 保障 其 发 展 的 对 象 , 而 这 方面 的 研究 将 会 促使 云 的 标准 
化 ,并 且 将 会 影响 到 测试 本 身 的 改革 。 

@ 当前 的 挑战 

云 中 的 服务 不 同 于 传统 的 软件 系统 ,因为 云 本 身 拥 有 复杂 的 拓扑 结构 ,部 署 在 其 上 的 应 
用 程序 将 会 有 着 大 规模 分 布 式 并 行程 序 所 具有 的 特点 ,因此 ,对 其 测试 并 不 是 一 件 容易 
的 事 。 

一 般 而 言 ,对 云 的 测试 往往 也 需要 利用 云 ,那么 得 出 的 结论 是 否 可 信 , 以 什么 样 的 方式 
来 衡量 可 信和 度 等 都 是 我 们 所 要 面 对 的 难题 。 

@ 当前 的 现状 

在 由 Tariq MKing 以 及 Annaji Sharma Ganti 两 人 提出 的 Migrating Autonomic Self- 
testing to the Cloud 这 篇 论文 中 ,他 们 将 AST(Autonomic Self-Testing ,自动 化 自 测试 ) 迁 
移 到 云端 并 结合 TSaaS(Test Software as a Service ,测试 软件 作为 一 种 服务 ) ,在 虚拟 的 测 
试 环境 中 对 云 的 服务 进行 测试 。 将 AST 迁移 到 云端 可 以 实时 地 监测 、 分 析 、 执 行 由 于 云 服 
务 的 改变 所 带 来 的 一 系列 的 可 行 性 的 问题 。 而 在 APPLabs 的 一 篇 报告 
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Cloud 中 ,描述 了 当前 日 益 发 展 的 云 计算 服务 存在 的 种 种 问题 ,包括 缺乏 控制 .安全 性 、 个 人 
隐私 问题 ,数据 完整 性 、 可 用 性 及 业务 接受 性 等 ,并 提出 了 对 这 些 问题 解决 的 一 些 观点 ,这 些 
观点 集中 在 非 功能 性 测试 .功能 测试 以 及 相应 的 测试 工具 。 

(3) Migrating Testing to the Cloud 

原因 

由 于 云 测试 的 出 现 ,给 传统 的 测试 提供 了 很 大 的 帮助 ,但 是 云 测试 本 身 仍 需 要 很 多 的 研 
究 才能 完全 发 挥 出 它 的 潜力 ,其 中 一 项 就 是 如 何 将 传统 的 测试 移植 到 云 上 。 而 这 个 工作 包 
含 了 从 测试 的 基础 硬件 设施 到 软件 测试 的 算法 流程 的 迁移 ,目前 这 方面 的 研究 仍然 很 少 。 

@ 优点 

云 测 试 的 迁移 将 会 利用 传统 的 软件 测试 的 经 验 和 优点 ,更 加 快速 地 适应 云 计算 时 代 的 
节奏 ,快速 推进 云 计算 时 代 的 发 展 。 

@ 当前 的 挑战 

对 云 测 试 的 迁移 还 欠缺 一 些 理论 的 指导 ,对 各 种 测试 方法 的 迁移 的 工作 量 非常 巨大 。 
传统 的 测试 如 何 能 利用 云 的 特性 从 而 结合 成 新 的 测试 需要 研究 。 

@ 当前 的 现状 

在 When to Migrate Softrware Testing to the Cloud 论文 中 ,Tauhida Parveen 和 Scott 
Tilley 指出 并 不 是 所 有 的 问题 都 适合 迁移 到 云端 ,他 们 从 两 个 方向 阐述 了 什么 样 的 软件 测 
试 可 以 迁移 到 云 中 : 一 个 是 待 测 程序 的 特性 ,如 测试 用 例 的 独立 性 、 知 道 该 程序 操作 环境 
(如 依赖 的 库 、 组 件 或 其 他 程序 )、 还 有 具备 可 编程 接口 等 ; 另 一 个 就 是 测试 类 型 ,如 单元 测 
试 . 大 容量 自动 化 测试 和 性 能 测试 等 。Sofiware Testing as az Online Service: 
Observations from Practice 是 一 篇 调查 报告 .由 Leah Muthoni Riungu、Ossi Taipale Kari 
Smolander 等 人 采访 了 11 个 企业 的 经 理 (6 个 供应 商 、5 个 需求 商 ) ,研究 得 出 将 软件 测试 迁 
移 到 云 中 目前 需要 考虑 到 应 用 ,管理 \ 法 律 以 及 财务 的 一 些 问 题 。 


习题 6.7 


1. 查阅 有 关 资 料 ,简要 回答 什么 是 云 计算 。 
2. 云 测 试 可 以 有 哪些 方式 ? 


6.8 物 联网 环境 下 的 软件 测试 (Software Testing in the 


Context of Internet of Things) 


6.8.1 物 联 网 的 定义 


物 联网 英文 名 叫做 Internet of Things, 也 可 叫做 Web of Things。 可 理解 为 将 现实 中 
的 物体 与 虚拟 网 络 相互 连接 ,形成 一 个 遍及 全 球 的 物 物 相 连 的 网 络 。 物 联网 的 通俗 定义 是 
运用 射频 识别 技术 全球 定位 系统 、 红 外 感应 器 、 气 体感 应 器 激光 扫描 器 等 各 种 传 感 设 备 或 
技术 ,定位 现实 世界 中 的 物体 ,采集 所 需要 的 各 种 信息 ,并 且 与 互联 网 相连 接 , 形 成 一 个 物 物 
相连 的 巨大 网 络 。 物 联网 发 展 的 目的 是 最 终 实现 物品 与 网 络 的 相连 ,实现 统一 管理 ,方便 人 
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类 的 生产 和 生活 效率 。 

现实 世界 中 的 物体 要 想 与 物 联 网 相连 接 , 必 须 具备 一 定 的 条 件 : 首先 要 有 其 使 用 性 ,并 
非 所 有 的 物体 连 入 网 络 都 有 其 意义 ; 其 次 ,物体 要 有 信号 发 送 和 接收 器 ,并 且 物 体 上 面 应 有 
装置 使 其 具备 一 定数 据 处 理 能 力 ; 再 次 ,该 物体 应 遵循 相应 的 协议 ,在 世界 网 络 中 有 唯一 的 
可 被 识别 的 编号 ; 最 后 ,需要 具备 相应 的 安全 机 制 ,能 够 保护 隐私 。 


6.8.2 物 联 网 的 特征 


与 互联 网 相 比 , 物 联网 具有 其 自身 的 特征 : 

(1) 物 联网 运用 了 感知 技术 ,例如 视频 识别 技术 。 物 联网 需要 在 其 网 络 中 部 署 大 量 的 
感应 结 点 ,并 部 署 大 量 的 感应 器 ,用 来 接收 和 获取 物体 发 出 的 各 种 不 同 频率 的 信号 。 传 感 器 在 
获得 数据 的 同时 ,还 要 不 停 地 更 新 自己 采集 信息 的 频率 ,以 动态 地 不 断 获得 物体 信息 的 变化 。 

(2) 物 联网 仍然 是 互联 网 的 基础 上 建立 的 一 个 网 络 。 其 技术 基础 和 框架 体系 仍 是 互联 
网 。 物 联网 在 互联 网 的 数据 传输 基础 上 融入 了 传 感 技 术 , 实 现 了 对 物体 的 相连 。 传 感 器 搜 
集 到 的 信息 需要 通过 网 络 传输 ,这 一 数据 量 是 十 分 巨大 的 。 在 传输 过 程 之 中 ,必须 要 像 互联 
网 一 样 ,满足 数据 传输 的 准确 和 快速 性 的 要 求 。 因 此 , 物 联网 的 网 络 体系 也 必须 要 适应 不 同 
的 网 络 条 件 和 协议 体系 。 

(3) 物 联 网 结 点 不 仅 能 够 运用 传 感 技术 识别 物体 ,其 本 身 也 是 一 种 智能 处 理 设备 ,能 够 
实现 对 物体 的 智能 控制 ,并 将 传 感 技术 与 其 他 智能 技术 如 云 计算 技术 、 模 式 识别 相 结合 ,不 
断 扩 宽 物 联网 的 应 用 领域 。 物 联网 在 获取 海量 数据 信息 的 同时 ,要 根据 不 同 用 户 的 不 同 需 
要 ,不 断 丰 富 自己 的 应 用 范围 。 


6.8.3 物 联 网 的 体系 结构 
目前 普遍 认可 的 物 联网 体系 结构 分 为 3 层 : 应 用 层 、 网 络 层 和 感知 层 (如 图 6-10 所 示 )。 


用 


物流 ||| 污染 || | 智能 | | | 远程 | | | 智能 | | | 智能 

监控 | 咱 监控 | 咱 检索 | 中 医疗 | | 交通 | | 家 居 
云 计算 平台 

信息 中 心 

移动 通信 网 络 互联 网 四 

RFID 感 应 器 | [| 传感器 网 关 | [| 接 入 网 关 

RFID 标 签 传感器 结 点 智能 终端 


6-10” 物 联网 体系 结构 


感知 层 由 各 种 结 点 及 其 相应 的 感知 设备 所 组 成 。 相 应 的 感知 设备 包括 RFID( 射 频 识 
别 ) 读 写 器 .RFID 标签 ,温度 湿度 感应 器 、 浓 度 探测 器 、 摄 像 头等 。 感 知 层 是 物 联网 的 最 底 
层 结 构 , 类 似 于 互联 网 的 物理 层 。 感 知 层 的 作用 是 感知 物体 ,采集 物体 信息 。 
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网 络 层 又 可 称 为 网 络 通信 层 , 它 将 感知 层 所 获得 的 数据 通过 无 线 传输 方式 连 入 到 物 联 
网 的 网 络 之 中 ,根据 不 同 的 需要 送 抵 不 同 的 终端 来 处 理 。 

应 用 层 是 物 联 网 提供 给 用 户 直接 使 用 的 接口 ,应 用 层 需要 结合 不 同行 业 和 不 用 用 户 的 
需求 ,筛选 和 处 理 网 络 层 传输 的 信息 ,提供 给 用 户 使 用 。 应 用 层 是 物 联网 发 展 的 最 终 目 的 。 


6.8.4 物 联网 的 核心 技术 


物 联网 的 4 大 核心 技术 包括 RFID 技术 、 传 感 网 技术 .M2M(Machine to Machine, 机 器 
到 机 器 ) 技 术 和 两 化 融合 技术 。 


1. RFID 技术 


RFID 射频 识别 是 一 种 非 接触 式 的 自动 识别 技术 , 它 通过 射频 信号 自动 识别 目标 对 象 
并 获取 相关 数据 ,识别 工作 无 须 人 工 干预 ,可 工作 于 各 种 恶劣 环境 下 。RFID 技术 可 识别 高 
速 运动 物体 并 可 同时 识别 多 个 标签 ,操作 快捷 方便 。RFID 是 一 种 简单 的 无 线 系 统 , 只 有 两 
个 基本 器 件 ,该 系统 用 于 控制 ,检测 和 跟踪 物体 。 系 统 由 一 个 阅读 器 和 很 多 标签 组 成 。 


2. 传 感 网 技术 


传 感 网 的 定义 为 : 随机 分 布 ,集成 有 传感器 数据 处 理 单元 和 通信 单元 的 微小 结 点 , 通 
过 自 组 织 的 方式 构成 的 无 线 网 络 。 

借助 于 结 点 中 内 置 的 传感器 测量 周边 环境 中 的 热 、 红 外 、 声 呐 、 雷 达 和 地 震波 信号 ,从 而 
探测 包括 温度 、 湿 度 、 噪 声 、 光 强度 、 压 力 、 土 壤 成 分 .移动 物体 的 大 小 、 速 度 和 方向 等 物质 
现象 。 


3. M2M 技术 


M2M 是 Machine to Machine/Man 的 简称 ,是 一 种 以 机 器 终端 智能 交互 为 核心 的 、 网 
络 化 的 应 用 与 服务 。 它 通过 在 机 器 内 部 嵌入 无 线 通信 模块 ,以 无 线 通 信 等 为 接 人 手段 ,为 客 
户 提 供 综合 的 信息 化 解决 方案 ,以 满足 客户 对 监控 ,指挥 调度 .数据 采集 和 测量 等 方面 的 信 
息 化 需求 。M2M 根据 其 应 用 服务 对 象 可 以 分 为 个 人 家庭. 行业 三 大 类 。 


4. 两 化 融合 技术 


两 化 融合 是 信息 化 和 工业 化 的 高 层次 的 深度 结合 ,是 指 以 信息 化 带动 工业 化 、 以 工业 化 
促进 信息 化 , 走 新 型 工业 化 道路 ; 两 化 融合 的 核心 就 是 信息 化 支撑 ,追求 可 持续 发 展 模式 。 
M2M/ 物 联网 技术 是 两 化 融合 的 补充 和 提升 ,两 化 融合 也 是 物 联网 4 大 技术 的 组 成 部 分 和 
应 用 领域 之 一 。 


6.8.5 物 联网 的 安全 特性 
1. 哪些 特性 决定 了 物 联网 的 安全 要 求 


物 联网 的 特性 决定 了 物 联网 所 采取 的 安全 要 求 。 物 联网 有 着 传 感 网 的 基本 特性 和 自身 
的 一 些 高 级 安全 特性 。 
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基本 特性 如 下 : 

(1) 流动 性 。 物 联网 上 的 设备 通常 都 是 移动 的 ,在 不 同 的 地 方 可 能 会 使 用 不 同 的 接 入 
商 接 入 网 络 。 

(2) 无 线性 。 物 联网 设备 间 采 用 各 种 无 线 协 议 进行 传输 ,例如 ,Bluetooth、802. 11、 
WiMAX、Zigbee、GSM/UMTS。 这 些 无 线 传输 信号 易 被 附近 的 攻击 者 截获 。 

(3) 嵌入 式 应 用 。 一 些 物 联网 设备 通常 只 有 单独 的 作用 ,被 嵌入 进 某 一 系统 中 ,因此 需 
要 针对 于 此 ,采用 独特 的 发 现 模式 。 

(4) 多 样 性 。 未 来 接 入 物 联 网 的 设备 将 从 复杂 的 计算 机 到 最 简单 的 RFID 标签 ,最 简 
单 的 设备 其 隐私 也 需要 得 到 保护 。 

(5) 规模 性 。 物 联网 得 到 普及 之 后 , 接 人 物 联网 的 设备 将 越 来 越 多 , 越 来 越 多 的 东西 内 
入 到 日 常生 活 中 来 ,这 将 加 大 隐私 保护 难度 。 

高 级 安全 特性 如 下 : 

(1) 用 户 识别 。 用 户 在 使 用 系统 前 必须 首先 经 过 验证 才能 使 用 。 

(2) 安全 存储 。 必 须要 保证 存储 在 物 联网 中 的 敏感 信息 的 保密 性 和 完整 性 。 

(3) 身份 管理 。 通 过 一 定 的 认证 机 制 来 限制 不 同 用 户 的 使 用 权限 。 

(4) 安全 数据 通信 。 安 全 的 数据 通信 和 包括 很 多 内 容 , 需 要 通信 前 首先 验证 通信 双方 , 确 
保 数据 的 保密 性 和 完整 性 ,同时 部 分 情况 下 ,需要 防止 否认 交易 ,还 要 保护 通信 实体 的 身份 。 

(5) 可 用 性 。 未 经 授权 的 人 或 系统 无 法 拒绝 授权 用 户 的 访问 。 

(6) 安全 的 网 络 访问 。 物 联网 上 的 设备 只 有 授权 才能 连 入 网 络 或 访问 其 他 设备 。 

(7) 安全 的 执行 环境 。 物 联网 需要 一 个 安全 的 、 高 效 运 作 的 编码 机 制 来 防止 数据 偏差 。 

(8) 防 自 改 。 防 算 改 指 的 是 这 些 设 备 即 使 落 入 攻击 者 手中 或 者 受到 物理 攻击 ,需要 采 
取 一 定 的 机 制 来 继续 维持 这 些 安全 要 求 。 


2. 无 线 传 感 网 络 的 安全 特性 


物 联网 是 互联 网 的 拓展 ,具有 互联 网 本 身 的 安全 特性 ,这 里 不 着 重 论述 。 物 联网 也 是 无 
线 传 感 网 络 的 延伸 ,安全 方面 也 具有 无 线 传 感 网 络 的 安全 特点 。 

无 线 传 感 网 络 的 安全 特点 如 下 : 

(1) 独立 结 点 的 资源 有 限 。 无 线 传 感 网 络 的 结 点 通常 为 一 个 很 小 的 设备 ,这 一 很 小 的 
设备 需要 集成 处 理 器 、 内 存 、 感 应 器 、 电 源 、 安 全 保护 设备 。 因 此 它 无 法 进行 高 复杂 度 的 加 解 
密 计算 。 需 要 设计 高 效 的 加 解密 算法 来 保证 独立 结 点 数据 传输 的 安全 。 同 时 ,单个 结 点 的 
数据 存储 能 力 有 限 ,无 法 长 期 保存 数据 ,出 于 安全 性 的 要 求 , 也 不 应 该 长 期 保存 数据 。 

(2) 结 点 易 受 物理 攻击 。 无 线 传 感 网 络 的 结 点 总 是 部 署 在 无 人 值守 的 环境 中 , 结 点 很 
容易 受到 攻击 ,受到 攻击 后 易 失 效 , 并 且 难 以 维护 。 甚 至 在 受到 物理 上 的 攻击 后 , 结 点 很 可 
能 丧失 作用 。 在 军事 应 用 中 ,这 种 无 线 传 感 结 点 更 易 遭 到 毁灭 性 的 攻击 ,而 造成 巨大 损失 。 

(3) 传输 介质 的 复杂 性 和 不 稳定 性 。 无 线 传 感 网 络 中 信和 号 传输 的 无 线 介质 易 受 周围 环 
境 , 例 如 恶劣 天 气 的 干扰 ,使 数据 传输 的 差错 加 大 , 结 点 附近 各 种 信道 传输 数据 也 易 发 生 差 
错 , 一 些 攻击 者 可 能 会 伪造 一 些 结 点 来 实施 攻击 。 

(4) 无 线 传 感 网 络 没有 基础 性 架构 。 无 线 传 感 网 络 中 没有 专用 的 信号 传输 设备 ,各 个 
结 点 相互 配合 传输 数据 ,这 使 得 很 多 在 有 线 互联 网 中 已 经 使 用 的 安全 架构 无 法 在 无 线 传 感 


192 


vt 


软件 测试 的 概念 与 方法 


网 络 中 部 署 。 所 以 说 有 线 网 中 已 经 成 熟 的 安全 架构 要 在 适应 无 线 传 感 网 络 特性 的 基础 上 结 
合 使 用 并 作出 相应 改变 。 


6.8.6 物 联 网 安全 问题 分 类 


物 联网 体系 分 为 感知 层 、 网 络 层 、 应 用 层 。 其 中 网 络 层 与 应 用 层 的 安全 问题 与 传统 的 互 
联网 安全 问题 相 类 似 , 这 里 不 再 详细 讨论 。 物 联网 除 具有 无 线 传 感 网 络 的 安全 问题 特点 外 ， 
物 联网 安全 问题 主要 围绕 其 感知 层 的 技术 ,尤其 是 RFID 射频 识别 技术 的 安全 问题 展开 。 
其 安全 特点 可 分 为 6 个 方面 : 物理 安全 ,传输 安全 、 隐 私 问题 ,攻击 手段 , 物 联网 平台 安全 问 
题 物 联网 网 络 层 和 应 用 层 安全 问题 。 


1. 物理 安全 


(1) 设备 的 物理 安全 。 物 联网 所 连接 的 是 现实 世界 中 的 物体 ,这 些 物理 部 件 部 署 在 无 
人 值守 的 场合 ,攻击 者 可 以 轻易 接触 到 这 些 物体 ,对 他 们 造成 物理 上 的 破坏 甚至 直接 盗 走 物 
理 设 备 ,造成 经 济 上 的 损失 。 嵌 入 RFID 标签 的 物体 若 RFID 标签 受到 物理 攻击 ,会 直接 损 
坏 RFID 标签 ,RFID 读 写 器 便 无 法 获得 该 物品 的 射频 信号 ,从 而 使 该 物体 从 物 联网 上 “ 失 
踪 ”。 

(2) 结 点 的 物理 安全 。 物 联网 中 部 署 的 各 式 数据 获取 和 数据 传输 的 无 线 传 感 网 络 结 点 
很 多 也 是 部 署 在 无 人 的 环境 中 ,它们 也 易 受 到 物理 上 的 攻击 。 同 时 , 物 联 网 中 的 独立 结 点 功 
能 并 不 是 非常 强大 ,它们 的 电池 能 量 少 ,安全 保护 能 力 薄 弱 。 结 点 在 不 停 地 与 外 界 环境 进行 
数据 感知 以 及 监控 附近 环境 设备 状态 的 同时 ,它们 本 身 也 极 易 成 为 攻击 的 对 象 。 结 点 受到 
攻击 ,将 直接 影响 其 对 周围 设备 的 感知 能 力 。 


2. 传输 安全 


(1) RFID 读 写 器 和 RFID 标签 之 间 数 据 传输 的 安全 。RFID 标签 有 被 动 式 和 主动 式 两 
类 ,这 两 类 标签 均 需要 与 RFID 读 写 器 之 间 进 行 数据 通信 。RFID 标签 与 RFID 读 写 器 之 间 
通过 无 线 信 号 进行 传输 ,在 传输 过 程 中 ,这 些 数 据 传输 信号 几乎 是 直接 “暴露 "在 空气 中 的 ， 
很 容易 被 攻击 者 截获 ,所 以 需要 有 相应 的 保护 措施 。 在 物 联 网 时 代 , 如 何在 数 以 亿 计 的 
RFID 标签 和 读 写 器 之 间 建 立 一 个 可 靠 的 传输 环境 ,也 是 RFID 技术 运用 在 物 联网 上 遇 到 的 
一 个 重大 难题 。 

(2) 物 联 网 感知 层 结 点 数据 传输 的 安全 。 物 联网 感知 层 结 点 传输 的 数据 因 不 同 的 环 
境 \ 不 同 的 设备 ,不 同 的 通信 标准 各 异 , 故 结 点 传输 的 数据 结构 非常 复杂 ,数据 量 非常 大 。 感 
知 网 络 应 用 丰富 多 彩 , 从 导航 到 温度 监控 、 从 水 文 控 制 到 自动 化 ,感知 网 络 的 数据 传输 没有 
统一 标准 , 故 无 法 拥有 一 个 有 效 的 安全 保护 架构 。 结 点 的 数据 更 新 频率 非常 高 ,这 些 数据 具 
有 很 强 的 实时 性 特征 ,又 是 多 源 异 构 性 数据 。 与 传统 的 互联 网 安全 技术 相 比 , 物 联网 时 代 的 
网 络 数据 传输 将 面 对 更 加 复杂 的 数据 结构 ,更 加 困难 的 数据 防御 攻击 要 求 。 

(3) 物 联 网 主干 网 络 的 传输 安全 。 物 联网 中 各 类 RFID 读 写 器 获取 的 数据 ,各 类 结 点 
的 数据 最 终 都 需要 传输 到 主干 网 络 上 ,再 根据 不 同 的 应 用 需要 传送 到 不 同 的 地 方 。 在 未 来 ， 
将 有 数 以 亿 计 的 物 联 网 设备 ,大 量 设备 集群 出 现 , 一 旦 网 络 出 现 故障 ,海量 的 数据 传输 将 会 
使 网 络 出 现 严 重 的 拥塞 。 虽 然 根 据 设计 , 物 联网 的 主干 网 络 拥有 较 强 的 安全 保护 能 力 ,但 是 


第 6 章 ”特定 应 用 软件 (X- 软 件 ) 的 测试 


随 着 未 来 接 人 物 联 网 的 设备 越 来 越 多 ,大 量 的 拥塞 数据 充 塞 在 物 联 网 主干 网 络 上 还 是 会 带 
来 拒绝 服务 攻击 。 物 联网 主干 网 络 现在 的 安全 体系 仍 是 基本 沿用 的 互联 网 时 代 的 安全 体 
系 ,尚未 提出 一 个 健全 的 完全 适用 于 “物体 ”之 间 通 信 的 安全 体系 。 


3. 隐私 问题 


隐私 问题 是 物 联网 时 代 的 一 个 重大 安全 问题 ,其 重要 性 远 远 超 过 互联 网 时 代 隐 私 问题 
的 重要 性 。 物 联网 的 网 络 层 和 应 用 层 除 具有 传统 互联 网 的 隐私 问题 外 ,其 和 现实 世界 中 物 
体 相 接触 的 感知 层 带 来 了 新 的 安全 隐私 问题 ,具体 来 讲 就 是 RFID 标签 带 来 的 隐私 问题 。 
物 联网 是 物 物 相 连 的 网 络 ,很 多 连 人 物 联 网 的 物体 和 我 们 日 常生 活 息息相关 。 例 如 ,一 些 日 
常生 活 使 用 的 物体 中 嵌入 的 RFID 标签 往往 含有 我 们 的 个 人 信息 ,一 旦 不 法 分 子 得 到 这 些 
标签 ,也 就 意味 着 有 可 能 通过 解密 措施 获得 人 们 的 隐私 信息 ,甚至 ,如 果 攻 击 者 掌握 了 标签 
如 何 追 踪 ,就 可 以 通过 追踪 这 些 标 签 随时 随地 知道 使 用 者 的 位 置 ,这 会 给 用 户 带 来 重大 的 安 
全 隐患 。 


4. 攻 击 手段 


物 联网 是 传统 互联 网 的 延伸 , 物 联网 也 会 受到 类 似 传统 互联 网 遭 到 的 攻击 。 

物 联 网 主要 受到 的 攻击 包括 数据 驱动 攻击 、 假 冒 攻 击 、 恶 意 代码 攻击 、 拒 绝 服务 攻击 。 

(1) 数据 驱动 攻击 是 指 通过 向 某 个 程序 或 应 用 发 送 数据 ,以 产生 非 预期 结果 的 攻击 , 通 
常 为 攻击 者 提供 访问 目标 系统 的 权限 。 数 据 驱动 攻击 分 为 缓冲 区 溢出 攻击 、 格 式 化 字符 串 
攻击 ,输入 验证 攻击 、 同 步 漏洞 攻击 ,信任 漏洞 攻击 等 。 通 常 向 传 感 网 络 中 的 汇聚 结 点 实施 
缓冲 区 溢出 攻击 是 非常 容易 的 。 

(2) 假冒 攻击 是 一 种 主动 进行 的 攻击 手段 , 物 联网 无 线 传 感 网 络 的 RFID 读 写 器 、RFID 
标签 都 是 攻击 者 可 以 随时 能 接触 到 的 ,各 无 线 传 感 结 点 也 是 独立 部 署 的。 攻击 者 可 以 伪造 
这 些 标签 ,伪造 结 点 向 物 联网 中 的 其 他 设备 发 出 信息 ,这 一 攻击 手段 对 物 联 网 设备 的 相互 信 
任 和 各 结 点 间 的 协同 工作 造成 了 很 大 的 威胁 。 

(3) 恶意 代码 攻击 是 指 恶意 程序 通过 某 个 漏洞 入 侵 网 络 ,相当 于 互联 网 时 代 的 可 以 在 
网 络 传播 的 计算 机 病毒 。 在 物 联网 时 代 , 由 于 无 线 传 感 网 络 的 环境 和 物 物 相连 的 特性 ,恶意 
代码 一 旦 找到 入 侵入 口 ,进入 网 络 中 后 , 它 会 通过 便捷 的 网 络 环境 迅速 向 整个 网 络 中 扩散 。 

(4) 拒绝 服务 攻击 是 物 联网 受到 的 攻击 手段 中 最 重要 的 一 种 ,后 面 将 对 这 一 攻击 进行 
详细 介绍 。 未 来 , 数 以 亿 计 的 物 联网 装置 ,大 量 设 备 集群 出 现 , 一 旦 网 络 出 现 故 障 ,海量 的 数 
据 传输 将 会 使 网 络 出 现 严重 的 拥塞 ,产生 拒绝 服务 攻击 ,这 种 攻击 手段 一 般 出 现在 感知 层 与 
主干 网 络 中 。 


5. 物 联网 平台 安全 问题 


在 未 来 , 物 联 网 得 到 普及 之 后 ,巨大 的 物 联 网 平台 上 必然 存在 着 各 式 各 样 的 物 联 网 应 
用 。 学 校 . 工 厂商 店 ,超市 内 部 都 具备 各 自 的 物 联网 系统 。 这 些 各 自 独立 的 物 连 网 最 终 需 
要 统一 相 联 , 这 就 需要 建立 一 个 统一 的 物 联网 应 用 层 安 全 技术 标准 来 管理 这 些 不 同 物 联 网 
应 用 。 和 否则 , 物 联 网 应 用 层 安全 平台 必然 无 法 适应 未 来 海量 的 物 联 网 应 用 。 但 这 样 一 来 ,如 
何 统一 管理 物 联 网 各 种 不 同 应 用 层 设 备 间 的 安全 日 志 等 安全 信息 将 会 成 为 新 的 物 联网 应 用 
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层 的 安全 管理 问题 。 如 果 不 能 建立 一 个 协调 统一 的 机 制 ,将 会 严重 削弱 物 联网 应 用 层 安全 
平台 和 各 应 用 平台 间 的 相互 信任 关系 。 


6. 物 联 网 网 络 层 和 应 用 层 的 安全 问题 


物 联网 网 络 层 和 应 用 层 仍 具 有 传统 互联 网 面临 的 所 有 安全 问题 。 并 且 , 由 于 物 联网 上 
的 结 点 更 加 丰富 ,采集 的 数据 格式 更 加 多 样 , 传 输 的 条 件 更 加 复杂 ,因此 物 联 网 网 络 层 和 应 
用 层 所 面 对 的 传统 安全 问题 更 加 复杂 。 


6.8.7 物 联网 安全 的 对 策 


互联 网 在 应 用 之 前 没有 考虑 到 自身 的 安全 问题 , 随 着 互联 网 的 迅猛 发 展 , 它 带 来 的 安全 
问题 也 越 来 越 严重 。 黑 客 、 病 毒 、 网 络 欺 诈 、 隐 私 泄露 ,每 年 都 给 全 世界 造成 了 无 可 计数 的 经 
济 损失 ,给 互联 网 在 全 球 的 运用 蒙 上 了 一 层 阴 影 。 然 而 ,互联 网 所 涉及 的 毕竟 还 是 虚拟 数 
据 , 而 物 联网 所 连接 的 都 是 现实 世界 中 的 物体 ,一 旦 出 现 重大 安全 问题 ,其 后 果 是 难以 想象 
的 。 因 而 ,我 们 需要 在 物 联网 正式 投入 使 用 前 ,首先 解决 或 者 避免 这 些 安全 问题 的 发 生 。 

物 联 网 继承 了 互联 网 的 一 些 特性 ,应 该 沿用 互联 网 的 大 部 分 安全 机 制 ,并 在 此 基础 上 针 
对 自己 的 特点 进行 补充 和 调整 。 传 统 网 络 的 OSI 七 层 结构 相应 的 安全 措施 并 不 能 完全 适 
用 于 物 联 网 , 物 联网 需要 结合 自己 感知 层 的 特性 提出 自己 相应 的 安全 对 策 。 

其 实 想 要 充分 解决 物 联网 的 安全 问题 ,不 仅 是 科技 层面 的 技术 问题 ,还 是 国家 层面 的 法 
律 问 题 和 公民 层面 的 道德 问题 ,只 有 把 技术 法律 .道德 三 者 相 结合 ,才能 从 根本 上 解决 物 联 
网 的 安全 问题 。 以 下 从 技术 上 提出 一 些 解决 物 联网 问题 的 对 策 。 


1. 物理 设备 处 理 的 对 策 


典 入 RFID 标签 的 物体 若 被 盗 ,RFID 读 写 器 定期 发 出 信号 , 若 长 久 接收 不 到 RFID 标 
签 返 回 的 信息 ,RFID 读 写 器 应 向 结 点 发 出 “说 明 ? 该 结 点 范围 内 的 某 一 物品 已 经 “丢失 ”, 该 
结 点 向 一 定 范围 的 其 他 结 点 发 出 同样 “说 明 ”, 这 个 区 域 的 RFID 读 写 器 便 不 再 接收 这 一 个 
RFID 标签 发 出 的 射频 信号 。 同 时 ,一些 政 府 、 军 事 使 用 的 涉及 隐私 .机 密 的 RFID 标签 若 长 
期 接收 不 到 RFID 读 写 器 的 请 求 , 这 时 就 有 可 能 被 盗 , 其 自身 也 要 一 定 的 自我 销毁 能 力 , 即 
使 标签 落 入 不 法 分 子 手中 ,其 存储 的 内 容 也 不 会 被 获得 。 


2. 感知 层 RFID 标签 的 安全 对 策 


(1) 杀 死 标签 。 带 有 RFID 的 标签 的 某 些 物体 在 某 些 运用 后 , 若 使 用 者 不 想 再 使 用 该 
RFID 标签 ,可 以 通过 杀 死 该 标签 , 杀 死 该 标签 的 缺点 是 标签 被 摧毁 后 无 法 再 被 利用 ,造成 
成 本 上 的 浪费 ,这 一 点 会 影响 物 联 网 的 普及 。 同 时 , 杀 死 标签 会 影响 其 反 向 的 追踪 ,例如 
退货 。 

(2) 干扰 标签 和 读 写 器 之 间 的 射频 传输 。 干扰 标签 和 读 写 器 之 间 数 据 传输 主要 有 3 种 
方法 , 即 改变 频率 、 主 动 干 扰 和 静电 屏 项。 

改变 频率 是 指使 用 者 可 以 通过 改变 RFID 读 写 器 或 者 RFID 标签 的 频率 ,使 得 没有 权 
限 的 用 户 无 法 探测 到 读 写 器 和 标签 之 间 的 通信 ,这 一 方法 的 缺点 是 需要 大 大 增强 RFID 标 
签 和 RFID 读 写 器 之 间 的 功能 ,使 它们 的 成 本 更 贵 。 使 用 者 还 可 以 通过 主动 干扰 的 方法 ,用 


第 6 章 ”特定 应 用 软件 (X- 软 件 ) 的 测试 


一 个 能 发 出 无 线 电信 号 的 设备 ,干扰 附近 RFID 读 写 器 的 工作 ,以 保护 RFID 标签 ,但 是 这 
有 可 能 影响 其 他 物 联 网 设备 的 正常 使 用 。 静 电 屏 项 指 的 是 将 RFID 标签 置 于 一 个 用 金属 网 
或 者 金属 薄片 制 成 的 外 四 中 ,保护 标签 使 RFID 读 写 器 无 法 对 其 进行 读 写 操作 ,这 一 方法 是 
某 些 场合 有 其 独特 的 应 用 ,但 是 缺点 是 造成 成 本 的 上 升 和 使 用 的 不 便 。 

(3) RFID 读 写 器 和 RFID 标签 数据 传输 间 的 加 密 和 认证 措施 。 采 用 加 密 或 认证 手段 
确保 RFID 阅读 器 和 RFID 标签 之 间 的 数据 安全 。 例 如 , Hash 锁 、Hash Lock 协议 、 随 机 化 
Hash Lock 协议 、 带 别名 的 双向 认证 .基于 杂凑 的 ID 变化 协议 、 分 布 式 RFID 询问 -相应 认 
证 协议 ,三 方 认证 等 措施 来 保护 读 写 器 和 标签 数据 传输 的 安全 ,但 是 这 要 综合 考虑 加 密 算法 
的 复杂 程序 和 标签 的 成 本 及 计算 能 力 。 在 未 来 , 物 联网 在 构建 RFID 射频 系统 时 要 根据 实 
际 情况 考虑 是 否 采用 有 加 密 或 认证 功能 的 系统 。 


3. 物 联 网 感知 层 结 点 的 安全 对 策 


在 前 面 分 析 物 联网 的 安全 问题 时 ,已 经 分 析 了 物 联网 感知 层 结 点 包括 RFID 读 写 器 安 
全 问题 。 目 前 已 经 提出 两 大 类 安全 对 策 : 

第 一 种 对 策 是 采取 传统 的 加 密 认证 机 制 和 访问 控制 技术 。 认 证 机 制 是 通信 双方 在 通信 
前 确认 发 送 者 和 接受 者 的 身份 ,加 密 就 是 在 数据 传输 过 程 中 用 密 钥 通过 加 密 和 解码 来 确保 
数据 传输 的 机 密 性 。 访 问 控制 技术 在 物 联网 时 代 , 就 是 给 人 和 物体 授权 ,限制 他 们 访问 某 些 
物体 的 权限 和 不 具备 的 权限 。 由 于 物 联网 中 更 多 的 是 连 入 网 络 的 物体 ,访问 控制 技术 将 会 
变 得 更 加 复杂 。 

第 二 种 对 策 是 在 感知 层 传输 数据 时 构建 专用 的 通信 协议 和 通道 。 通 过 构建 专用 的 通信 
协议 和 通道 确实 能 在 感知 层 传输 数据 时 起 到 非常 好 的 安全 效果 。 但 是 , 它 在 带 来 传输 高 性 
能 的 同时 增加 了 资金 的 投入 ,降低 了 物 联 网 不 同 应 用 层 之 间 的 数据 共享 能 力 。 


4. 拒绝 服务 攻击 


拒绝 服务 攻击 有 两 种 方式 , 一 是 拒绝 服务 攻击 (DoS), 二 是 分 布 式 拒绝 服务 攻击 
(DDoS) 。 

(1) 拒绝 服务 攻击 。 拒 绝 服务 攻击 是 指 一 个 用 户 占用 大 量 的 共享 资源 ,使 系统 没有 多 
余 的 资源 给 其 他 用 户 使 用 的 攻击 方法 。 攻 击 者 发 动 拒绝 服务 ,首先 向 服务 器 发 送 众多 的 带 
Er 有 虚假 地 址 的 请 求 , 服 务 器 发 送 回复 信息 后 等 待 回 


受 8 才 | 传 信息 ,由 于 地 址 是 伪造 的 ,所 以 服务 器 一 直 等 不 

回复 信息 AAA 到 回 传 的 消息 ,分 配给 这 次 请 求 的 资源 就 始终 没有 

和 A 生 待 加 传 信息 被 释放 。 当 服务 器 等 待 一 定 的 时 间 后 ,连接 会 因 超 

庶 假 地 直上 一 时 而 被 切断 ,攻击 者 会 再 度 传送 新 一 批 请 求 , 在 这 
图 6-11 Dos 攻击 原 理 图 种 反复 发 送 伪 地 址 请 求 的 情况 下 ,服务 器 资源 最 终 


会 被 耗 尽 ( 如 图 6-11 所 示 ) 。 
(2) 分 布 式 拒绝 服务 攻击 。 分 布 式 拒绝 服务 攻击 (DDoS) 是 一 种 基于 DoS 的 特殊 形式 
的 拒绝 服务 攻击 ,是 一 种 分 布 .协作 的 大 规模 攻击 方式 ,主要 针对 比较 大 的 站 点 , 像 商 业 公 
司 .搜索 引擎 和 政府 部 门 的 站 点 。DDosS 攻击 是 利用 一 批 受 控制 的 机 器 向 一 台 机 器 发 起 攻 
击 . 这 样 来 势 迅 猛 的 攻击 令 人 难以 防备 ,因此 具有 较 大 的 破坏 性 。 探 测 扫描 大 量 主机 找到 可 
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以 人 侵 的 目标 主机 ,通过 一 些 远程 漏洞 攻击 程序 ,入 侵 有 安全 漏洞 的 目标 主机 并 获取 系统 的 
控制 权 , 在 被 人 侵 的 主机 上 安装 并 运行 DDoS 分 布 端 攻 击 守护 进程 ,然后 利用 多 台 已 被 攻击 
者 控制 的 机 器 对 另 一 台 单 机 机 型 扫描 和 攻击 ,在 悬殊 的 力量 对 比 之 下 ,使 被 攻击 者 很 快 失去 
反应 能 力 。 整 个 过 程 都 是 自动 化 的 ,攻击 者 可 以 在 几 秒 钟 内 入 侵 一 台 主 机 并 安装 攻击 工具 ， 
这 样 在 一 小 时 内 就 可 以 人 侵 数 千 台 主机 。 

DDoS 攻击 分 为 攻击 者 、 主 控 端 代理 端 三 层 。 攻 击 者 操纵 整个 攻击 过 程 , 它 向 主 控 端 
发 送 攻 击 命 令 。 主 控 端 接受 攻击 者 发 来 的 攻击 命令 ,并 且 可 以 把 这 些 命令 发 送 到 代理 主机 
上 。 代 理 端 运行 攻击 器 程序 ,接受 和 运行 主 控 端 发 来 的 命令 。 代 理 端 主机 是 攻击 的 执行 者 ， 
真正 向 受害 者 主机 发 送 攻击 (如 图 6-12 所 示 ) 。 


-一 代理 端 


主 控 端 


攻击 者 E 控 端 


t 理 端 


图 6-12 ”DDoS 攻击 原理 图 


(3) 拒绝 服务 攻击 的 对 策 。 传 统 的 解决 拒绝 服务 攻击 和 分 布 式 拒绝 服务 攻击 的 方法 有 
黑洞 法 设置 路 由 访问 控制 列表 过 滤 和 串联 防火 墙 安 全 设备 等 几 种 方法 ,这 些 方法 的 效率 均 
不 高 。 在 物 联 网 时 代 , 想 要 解决 拒绝 服务 攻击 ,关键 在 于 智能 化 。 

智能 化 DDoS 防护 系统 由 检测 器 和 防护 器 两 部 分 组 成 。 该 系统 使 用 便捷 ,部署 简便 ,能 
在 不 改变 原来 网 络 架构 的 基础 上 ,实行 动态 、 智 能 化 防御 。 防 护 器 采用 并 联 方式 安装 在 主干 
网 络 上 , 当 检 测 器 检测 到 网 络 中 有 不 良 流量 进行 攻击 时 ,检测 器 向 防护 器 发 出 警报 。DDoS 
防护 器 知道 攻击 发 出 的 地 址 、 攻 击 的 目的 地 后 立刻 开始 工作 ,通知 路 由 器 ,路 由 器 随后 将 对 
攻击 目标 发 送 的 不 良 数据 全 部 发 送 到 防护 器 端 ,防护 器 对 这 些 数据 进行 分 析 和 验证 ,不 良 流 
量 将 被 截获 丢弃 ,而 正常 的 数据 流量 将 通过 路 由 器 传送 到 目的 地 址 ,不 影响 它们 的 传输 。 


习题 6.8 
1. 什么 叫 物 联网 ? 物 联网 具有 哪些 安全 性 问题 ? 
2. 物 联网 安全 性 测试 中 应 该 包含 哪些 方面 


6.9 并 行 软件 测试 (Concurrent Software Testing) 


并 行程 序 通常 包含 两 个 或 多 个 并 发 执行 的 线程 ,这 些 线程 通过 相互 合作 来 完成 某 些 任 
务 。 使 用 多 线程 技术 可 提高 计算 效率 ,同时 由 于 一 些 问题 本 身 具 有 并 发 的 特性 ,采用 多 线程 
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技术 解决 这 类 问题 也 更 加 自然 。 目 前 ,Java、C# 和 Ada 等 语言 对 并 发 程序 设计 都 提供 了 直 
接 支 持 , 而 C 和 C++ 语言 通过 一 些 多 线程 库 ( 如 POSIX Pthread 库 ) 间 接 支持 并 发 程序 设 
计 。 随 着 多 核 技 术 的 发 展 和 实际 应 用 需求 的 增加 ,并 发 程序 的 开发 应 用 变 得 越 来 越 广泛 。 

并 行程 序 的 目标 是 提高 软件 性 能 ,充分 利用 可 用 资源 。 一 个 并 行 软件 由 若干 相互 合作 
的 进程 共同 完成 一 个 任务 ,在 很 多 应 用 领域 中 可 以 大 大 减少 计算 时 间 , 例 如 ,面向 服务 的 软 
件 系 统 、 天 气 预 报 系统 ,动力 学 分 子 模拟 、 生 物 信息 和 图 像 处 理 。 尽 管 硬件 技术 飞速 发 展 , 速 
度 和 性 能 不 断 提升 ,但 这 种 进步 不 可 能 是 无 止境 ,要 进一步 提高 软件 在 处 理 大 规模 数据 时 的 
运行 速度 和 工作 效率 ,还 要 在 改进 软件 结构 ,充分 利用 软 硬 件 资源 方面 着 手 。 因 此 ,人 们 对 
于 并 行 软件 的 需求 越 来 越 高 ,并行 软件 测试 也 因此 显得 越 来 越 重要 。 

对 于 传统 的 软件 ,很 多 测试 问题 都 可 归结 为 一 些 测试 准则 以 及 相应 的 支持 工具 。 所 谓 
测试 准则 就 是 测试 用 例 集 合 应 该 满足 的 标准 , 它 可 以 作为 测试 用 例 生成 的 向 导 , 例 如 ,结构 
化 测试 准则 就 是 利用 代码 程序 实现 和 结构 方面 的 信息 生成 测试 用 例 ,以 达到 相应 的 代码 覆 
盖 、 变 量 的 定义 引用 覆盖 和 其 他 覆盖 标准 等 。 测 试 准则 可 以 保证 在 不 降低 软件 错误 检测 能 
力 的 情形 下 ,允许 人 们 选择 尽 可 能 少 的 测试 用 例 。 同 时 测试 准则 使 得 测试 更 加 系统 化 ,并 使 
得 测试 活动 可 以 度量 。 并 行 软件 测试 一 方面 可 以 考虑 将 传统 的 软件 测试 方法 应 用 于 测试 并 
行 软件 ,但 并 行 软件 与 传统 的 软件 毕竟 有 着 很 大 不 同 ,最 主要 方面 包括 : 并 行程 序 间 通讯 、 
同步 和 执行 的 非 确定 性 。 这 些 特 性 使 得 并 行 软件 测试 更 为 复杂 ,因为 并 行 软件 执行 过 程 中 
涉及 大 量 的 交互 . 极 大 数量 的 执行 路 径 , 因 此 ,并 行 软件 测试 既 要 考虑 顺序 特性 ,又 要 考虑 并 
行 特 性 。 

随 着 服务 计算 、 云 计算 等 新 兴 技 术 的 发 展 ,并 行 软件 已 经 成 为 这 些 新 技术 的 共同 基础 ， 
并 行 软件 测试 是 保证 这 些 新 型 应 用 质量 和 可 靠 性 的 关键 技术 ,因此 研究 并 行 软件 的 测试 机 
制 和 故障 模式 具有 非常 重要 的 意义 。 

并 行进 程 之 间 的 交互 有 两 种 形式 ,一 种 是 消息 传递 ,一 种 是 存储 共享 。 两 种 方式 下 都 需 
要 通过 信号 量 或 监控 进行 同步 ,这 就 形成 并 行 软件 的 几 个 特征 , 即 非 确定 性 .同步 和 通信 。 
根据 这 些 特 性 ,人 们 已 经 提出 了 一 些 并 行 测试 的 挑战 : 开发 并 行程 序 的 静态 分 析 方 法 、 在 非 
确定 性 程序 中 检测 无 意 的 临界 资源 和 死 锁 条 件 、 在 非 确 定性 存在 的 情况 下 执行 某 条 指定 的 
路 径 、 使 用 同样 的 输入 重 现 某 次 测试 过 程 .产生 非 确定 性 程序 的 控制 流 图 、 提 供 一 个 将 顺序 
程序 测试 准则 应 用 于 并 行程 序 的 测试 框架 作为 理论 基础 ,并 研究 其 可 行 性 ,研究 并 定义 并 行 
程序 的 基于 控制 流 和 数据 流 的 测试 覆盖 准则 。 

并 行程 序 测试 研究 最 早 可 以 追溯 到 20 世纪 70 年 代 。 与 顺序 程序 类 似 , 并 发 程序 测试 
可 分 为 基于 规格 说 明 的 功能 性 测试 和 基于 程序 实现 的 结构 性 测试 , 即 黑 盒 测试 和 白 盒 测试 。 
黑 盒 测试 方法 根据 软件 规格 说 明 构 造 状 态 机 模型 ,选择 高 层 事件 执行 序列 进行 测试 。 白 盒 
测试 方法 基于 程序 实现 ,通过 分 析 程 序 源 代码 ,选择 程序 语言 的 同步 序列 进行 测试 。 基 于 程 
序 实现 的 测试 方法 主要 可 分 为 静态 分 析 方法 和 动态 分 析 方法 ,静态 分 析 直 接 分 析 并 发 程序 
源 代码 ,不 使 用 任何 运行 时 的 信息 ,精度 较 低 ; 动态 分 析 方 法 分 析 程序 运行 时 的 信息 ,精度 
较 高 。 静 态 分 析 方 法 采用 的 并 发 程序 模型 主要 有 扩展 控制 流 图 法 和 可 达 图 ,动态 分 析 方 法 
主要 有 可 达 性 测试 方法 等 。 
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题 6.9 
结合 并 行程 序 设计 经 验 ,总 结 并 行程 序 测试 与 普通 程序 测试 的 不 同 。 


.10 藤 入 式 软 件 测试 (Embedded Software Testing) 


IEEE 对 于 嵌入 式 系统 的 定义 是 : 嵌入 式 系统 是 用 于 控制 .监视 或 者 辅助 操作 机 器 和 设备 
的 装置 (Device Used to Control，Monitor，or Assist the Operation of Equipment， 
Machinery or Plants) 。 从 这 个 定义 中 可 以 看 出 ,能 入 式 系统 是 软件 和 硬件 的 综合 体 , 可 以 
涵盖 机 电 等 附属 装置 。 目 前 国内 普遍 认同 的 定义 是 : 内 入 式 系 统 是 以 应 用 为 中 心 . 以 计算 
机 技术 为 基础 , 软 硬 件 可 以 剪裁 ,适应 应 用 系统 对 功能 、 可 靠 性 \ 成 本 、 体 积 、 功 耗 等 严格 要 求 
的 专用 计算 机 系统 。 

嵌入 式 系 统 对 可 靠 性 的 要 求 比较 高 。 嵌 入 式 系统 安全 性 的 失效 可 能 会 导致 灾难 性 的 后 
果 , 即 使 是 非 安全 性 系统 ,由 于 大 批量 生产 也 会 导致 严重 的 经 济 损失 。 这 就 要 求 对 嵌入 式 
系统 ,包括 舱 入 式 软 件 进行 严格 的 测试 .确认 和 验证 。 随 着 越 来 越 多 的 领域 使 用 软件 和 
微 处 理 器 控制 各 种 租 入 式 设备 ,对 日 益 复 杂 的 舱 入 式 软 件 进行 快速 有 效 的 测试 愈加 显得 

典 入 式 软件 测试 /嵌入 式 测试 或 叫 交 叉 测 试 (Cross-test) 的 目的 与 非 嵌入 式 软件 是 相同 
的 。 但 是 ,在 嵌入 式 系统 设计 中 ,软件 正 越 来 越 多 地 取代 硬件 ,以 降低 系统 的 成 本 ,获得 更 大 
的 灵活 性 ,这 就 需要 使 用 更 好 的 测试 方法 和 工具 进行 嵌入 式 和 实时 软件 的 测试 。 

嵌入 式 软件 测试 作为 一 种 特殊 的 软件 测试 , 它 的 目的 和 原则 同 普通 的 软件 测试 是 相同 
的 ,同样 是 为 验证 软件 质量 以 及 是 否 达到 软件 可 靠 性 要 求 而 对 软件 进行 测试 ,但 其 入 式 软件 
有 其 自身 特点 : 

(1) 嵌入 式 软件 是 在 特定 的 环境 下 才能 运行 的 软件 ,因此 ,嵌入 式 软件 测试 最 重要 的 目 
的 是 保证 嵌入 式 软 件 能 在 特定 的 环境 下 更 可 靠 地 运行 。 

(2) 嵌入 式 软件 测试 不 仅 要 保证 其 在 特定 的 环境 下 运行 的 可 靠 性 ,还 要 保证 其 实时 性 ， 
例如 在 工业 控制 中 ,在 某 些 特定 环境 中 如 果 不 具 备 实时 响应 的 能 力 , 就 可 能 造成 巨大 的 
损失 。 

(3) 租 入 式 软件 产品 为 了 满足 高 可 靠 性 的 要 求 , 不 允许 内 存在 运行 时 有 泄漏 等 情况 发 
生 , 因 此 ,嵌入 式 软件 测试 除了 对 软件 进行 性 能 测试 .GUI 测试 .覆盖 分 析 测 试 等 ,还 需要 对 
内 存 进 行 测试 。 

(4) 嵌入 式 软件 在 完成 和 硬件 的 集成 测试 之 后 ,还 要 对 相应 的 做 入 式 产品 进行 测试 ,以 
保证 嵌入 式 产 品 除了 能 够 满足 所 有 功能 的 同时 可 以 安全 可 靠 地 运行 。 

基于 以 上 特点 ,嵌入 式 软件 测试 需要 遵循 以 下 一 些 特殊 的 原则 : 

(1) 嵌入 式 软件 测试 对 软件 在 硬件 平台 的 测试 是 必 不 可 少 的 。 

(2) 嵌入 式 软件 测试 需要 在 特定 环境 下 对 其 进行 测试 ,例如 ,对 某 些 软件 在 工业 强 磁 场 
的 干扰 下 测试 ,以 保证 嵌入 式 软件 可 靠 性 。 

(3) 必要 的 可 靠 性 负载 测试 ,例如 ,测试 某 些 嵌 入 式 系统 能 否 连续 1000 个 小 时 不 断 地 


第 6 章 ”特定 应 用 软件 (X- 软 件 ) 的 测试 


工作 。 
(4) 除了 进行 功能 测试 ,还 需要 对 实时 性 进行 测试 ,在 判断 系统 是 否 失效 方面 ,除了 看 
它 的 输出 结果 是 否 正确 ,还 应 考虑 其 是 否 可 以 在 规定 的 时 间 里 输出 了 结果 。 

(5) 需要 在 特定 的 硬件 平台 上 对 骨 入 式 软件 进行 性 能 测试 ,内存 测 试 .GUI 测试 .覆盖 
分 析 测 试 , 这 些 测试 都 可 以 利用 相关 工具 进行 。 

(6) 需要 对 能 人 式 产 品 进行 测试 。 

在 嵌入 式 系统 中 ,内 存 问题 危害 很 大 ,不 容易 排查 ,主要 有 内 存 泄 露 ` 内 存 碎片 和 内 存 崩 
溃 3 种 类 型 。 对 于 内 存 问 题 态度 必须 要 明确 , 那 就 是 早 发 现 早 修正 。 其 中 内 存 泄露 主要 由 
于 不 断 分 配 的 内 存 无 法 及 时 地 被 释放 ,久而久之 ,系统 的 内 存 耗 尽 。 即 使 细心 的 编程 老手 有 
时 后 也 会 遭遇 内 存 泄 露 问题 。 有 测试 过 内 存 泄露 的 朋友 估计 都 有 深刻 地 体验 , 那 就 是 内 存 
泄露 问题 一 般 隐藏 很 深 , 很 难 通过 代码 阅读 来 发 现 。 有 些 内 存 泄露 甚至 可 能 出 现在 库 当 中 。 
有 可 能 这 本 身 是 库 中 的 错误 ,也 有 可 能 是 因为 程序 员 没 有 正确 理解 它们 的 接口 说 明文 档 造 
成 错 用 。 

内 存 碎 片 比 内 存 泄露 隐藏 还 要 深 。 随 着 内 存 的 不 断 分 配 并 释放 ,大 块 内 存 不 断 分 解 为 
小 块 内 存 , 从 而 形成 碎片 ,久而久之 , 当 需 要 申请 大 块 内 存 时 ,有 可 能 就 会 失败 。 如 果 系 统 内 
存 够 大 ,那么 坚持 的 时 间 会 长 一 些 , 但 最 终 还 是 逃 不 出 分 配 失 败 的 厄运 。 在 使 用 动态 分 配 的 
系统 中 ,内 存 碎片 经 常 发 生 。 目 前 ,解决 这 个 问题 最 有 效 的 方法 就 是 使 用 工具 通过 显示 系统 
中 内 存 的 使 用 情况 来 发 现 谁 是 导致 内 存 碎片 的 罪魁 祸首 ,然后 改进 相应 的 部 分 。 

内 存 崩 省 是 内 存 使 用 最 严重 的 结果 ,主要 原因 有 数组 访问 越界 . 写 已 经 释放 的 内 存 、 指 
针 计算 错误 ,访问 堆栈 地 址 越界 等 等 。 这 种 内 存 崩溃 造成 系统 故障 是 随机 的 ,而 且 很 难 查 
找 ,目前 提供 用 于 排查 的 工具 也 很 少 。 

一 般 来 说 ,嵌入 式 软件 测试 在 4 个 阶段 上 进行 , 即 模块 测试 集成 测试 .系统 测试 硬件 / 
软件 集成 测试 。 前 3 个 阶段 适用 于 任何 软件 的 测试 ,硬件 /软件 集成 测试 阶段 是 嵌入 式 软件 
所 特有 的 ,目的 是 验证 蔡 入 式 软件 与 其 所 控制 的 硬件 设备 能 否 正确 地 交互 。 典 入 式 软件 测 
试 工具 包括 GUI 测试 工具 、 覆 盖 分 析 工 具 、 性 能 分 析 工具 内 存 分 析 工 具 等 。 


习题 6.10 


1. 手机 是 一 种 戏 人 式 系统 , 简 述 读者 自己 平时 在 选 购 手机 时 做 过 的 测试 。 
2. 列举 读者 自己 身边 的 嵌入 式 系统 。 


6.il 高 可 信和 软件 测试 (High Confidence Software Testing ) 


随 着 软件 在 人 们 生活 、 学 习 和 工作 中 的 日 益 渗透 和 普及 ,由 于 软件 的 缺陷 、 漏 洞 . 故 障 和 
失效 而 给 和 人们 生活 、 生 产 带 来 不 使 和 重大 损失 的 事件 越 来 越 多 ,软件 的 可 信 性 问题 日 益 突 
出 ,并 已 经 成 为 国际 上 普遍 关注 的 问题 。 

软件 的 可 信 性 体现 的 是 人 们 对 软件 性 能 的 一 种 新 的 抽象 追求 , 它 其 实 也 包括 了 正确 性 、 
可 靠 性 \ 安 全 性 、 可 用 性 、 可 控 性 、 完 整 性 、 实 时 性 和 可 预期 性 等 许多 传统 特性 。 目 前 关于 可 
信 性 还 未 形成 比较 完整 和 有 说 服 力 的 解释 ,但 人 们 已 经 普遍 认为 软件 的 可 信 性 应 该 是 软件 
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的 行为 及 结果 符合 人 们 的 预期 ,在 操作 失误 \ 环 境 影 响 、 外 部 攻击 等 干扰 时 ,仍然 可 以 提供 连 
续 的 服务 。 

高 可 信和 软件 技术 是 当前 软件 技术 面临 的 重大 挑战 ,从 科学 意义 上 , 它 要 求人 们 对 软件 系 
统 开发 和 运行 等 规律 有 更 深 一 步 的 认识 ; 从 应 用 价值 上 ., 它 关系 到 人 们 在 信息 社会 对 信息 
基础 设施 的 依赖 和 可 信 程度 的 提高 。 

高 可 信和 软件 工程 涉及 一 系列 科学 问题 : 第 一 、 软 件 系 统 的 行为 特征 ,如 何 定性 /定量 地 
描述 软件 的 行为 ?如 何 建立 各 类 复杂 的 软件 结构 和 系统 对 应 的 系统 行为 ? 这 是 软件 理论 的 
基本 问题 ,软件 的 静态 语法 与 其 动态 语义 的 分 离 是 造成 软件 行为 难于 描述 和 推理 的 原因 。 
随 着 软件 规模 的 增 大 ,软件 中 并 发 实时、 分布 、 移 动 等 特性 的 出 现 ,这 些 问 题 的 认识 路 待 深 
入 ; 第 二 ,软件 可 信 性 质 与 软件 行为 的 关系 ,如 何 描述 软件 可 信 性 质 及 其 与 软件 行为 的 关 
系 ? 我 们 看 到 ,上 述 关于 软件 可 信 性 质 的 描述 是 非 形 式 化 的 抽象 陈述 ,必须 建立 起 性 质 和 软 
件 行为 之 间 的 内 在 联系 及 其 严格 的 描述 ,才能 在 软件 开发 中 ,设计 并 验证 所 需 的 可 信和 性质; 
第 三 \ 面 向 软件 可 信和 性 质 的 设计 和 推理 ,如 何 将 软件 可 信 性 质 (通常 非 操作 性 的 ) 融 入 软件 设 
计 ( 操 作 性 )? 可 信和 性 质 通常 是 软件 系统 的 全 局 约束 ,伴随 着 软件 开发 过 程 逐 步 地 * 设 计 ?” 出 
来 ,最 终 获 得 这 些 可 信 性 质 。 如 何 针对 可 信 性 质 发 现 一 种 分 而 治之 的 策略 从 而 控制 复杂 性 ， 
是 进行 面向 可 信 性 质 的 软件 设计 和 验证 的 关键 ; 第 四 、 软 件 系统 的 可 信和 性 质 的 确认 ,如 何 发 
现 和 评估 软件 系统 是 否 具有 可 信 性 质 ? 量化 是 一 种 工程 科学 成 熟 的 重要 标志 ,需要 对 软件 
可 信和 性 质 有 合适 的 度量 方法 ,并 能 在 软件 过 程 中 进行 跟踪 。 

软件 系统 的 可 信人 性 质 是 指 该 系统 需要 满足 的 关键 性 质 , 当 软 件 一 旦 违背 这 些 关键 性 质 
时 就 会 造成 不 可 容忍 的 损失 , 称 这 些 关 键 性 质 为 高 可 信和 性质。 由 此 进一步 提出 了 可 信 软 件 
的 定义 。 可 信 软 件 是 指 软件 系统 的 运行 行为 及 其 结果 总 是 符合 人 们 的 预期 结果 ,在 受 干扰 
的 环境 下 仍 能 提供 连续 服务 。 广 义 地 讲 , 软 件 可 信人 性 包含 的 特征 属性 有 可 用 性 
(Availability) 、 可 靠 性 (Reliability)、 安 全 性 (Security)、 可 维护 (Maintainability)、 完 整 性 
(Integrity) 等 。 因 此 ,高 可 信和 软件 测试 主要 围绕 这 些 方面 ,利用 前 面 介绍 的 各 种 测试 方法 和 
技术 系统 地 进行 。 


习题 6.11 


1. 高 可 信和 软件 应 该 包含 哪些 特性 ? 
2. 人 们 为 什么 在 高 质量 软件 、 高 可 靠 性 软件 等 名 称 之 后 ,提出 高 可 信和 软件 的 概念 ? 


6.12 网 构 软 件 测试 (Internetware Testing) 


Internet 的 出 现 和 普及 使 计算 机 软件 开发 .部 署 .运行 和 维护 的 环境 开始 从 封闭 .静态 、 
可 控 逐 步 走 向 开放 ,动态 、 难 控 。 软 件 系 统 需 要 适应 Internet 发 展 的 要 求 ,具备 开放 的 结构 ， 
拥有 动态 协同 在线 演化 ,环境 感知 和 自主 适应 的 能 力 , 对 于 这 种 新 的 软件 形态 ,北京 大 学 的 
杨 英 清 院士 、 梅 宏 院 士 和 南京 大 学 的 昌 建 教授 等 国内 学 者 提出 了 网 构 软件 的 概念 ,十 多 年 
来 ,他 们 带领 自己 的 研究 组 围绕 网 构 软 件 展开 了 深入 系统 的 研究 ,已 经 积累 了 一 整套 的 理 
论 、 方 法 和 实践 经 验 。 网 构 软 件 系 统 中 的 实体 元 素 被 组 织 为 分 布 . 自 治 、 异 构 的 构件 ,具有 独 
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立 性 .主动 性 和 自 适应 性 ,这 给 网 构 软 件 的 测试 带 来 了 新 的 挑战 。 

网 构 软 件 是 在 Internet 开放 动态 和 多 变 环境 下 软件 系统 基本 形态 的 一 种 抽象 , 它 既 是 
传统 软件 结构 的 自然 延伸 ,又 具有 区 别 于 在 集中 封闭 环境 下 发 展 起 来 的 传统 软件 形态 的 独 
有 的 基本 特征 ,它们 包括 : 

(1) 自主 性 。 网 构 软 件 系统 中 的 软件 实体 具有 相对 独立 性 、 主 动 性 和 自 适应 性 。 自 主 
性 使 其 区 别 于 传统 软件 系统 中 软件 实体 的 依赖 性 和 被 动 性 。 

(2) 协同 性 。 网 构 软 件 系 统 中 软件 实体 与 软件 实体 之 间 可 按 多 种 静态 连接 和 动态 合 
方式 在 开放 的 网 络 环境 下 加 以 互 连 互通 .协作 和 联盟 。 协 同性 使 其 区 别 于 传统 软件 系统 在 
封闭 集中 环境 下 单一 静态 的 连接 模式 。 

(3) 反应 性 。 指 网 构 软 件 具 有 感知 外 部 运行 和 使 用 环境 并 对 系统 演化 提供 有 用 信息 的 
能 力 ,反应 性 使 网 构 软 件 系统 具备 了 适应 Internet 开放 动态 和 多 变 环境 的 感知 能 力 。 

(4) 演化 性 。 网 构 软 件 结构 可 根据 应 用 需求 和 网 络 环境 变化 而 发 生动 态 演化 ,主要 表 
现在 其 实体 元 素数 目的 可 变性 ,结构 关系 的 可 调节 性 和 结构 形态 的 动态 可 配置 性 。 演 化 性 
使 网 构 软件 系统 具备 了 适应 Internet 开放 动态 和 多 变 环境 的 应 变 能 力 。 

(5) 多 态 性 。 网 构 软 件 系统 的 效果 体现 出 相 容 的 多 目标 性 , 它 可 根据 某 些 基 本 协同 原 
则 在 动态 变化 的 网 络 环境 下 满足 多 种 相 容 的 目标 形态 。 多 态 性 使 网 构 软件 系统 在 网 络 环境 
下 具备 了 一 定 的 柔性 和 满足 个 性 化 需求 的 能 力 。 

由 于 网 构 软 件 的 生成 元 素 、 生 成 过 程 的 特征 及 其 所 面临 环境 的 开放 、 动 态 和 多 变性 , 因 
此 决定 了 网 构 软 件 的 测试 必须 要 有 新 的 技术 、 方 法 来 适应 它 的 发 展 。 例 如 ,对 传统 软件 系统 
正确 性 的 概念 和 相应 的 质量 标准 是 确定 的 ,正确 性 的 验证 与 质量 测试 和 评价 均 依 此 而 定 。 
然而 在 Internet 环境 下 一 个 软件 系统 所 能 达到 的 目标 不 仅 取决 于 系统 的 输入 而 且 还 取决 于 
开放 和 动态 变化 的 外 部 环境 ,因此 ,一 个 软件 系统 所 能 达到 的 目标 难以 用 传统 的 正确 性 概念 
加 以 概括 ,也 就 是 说 ,网 构 软 件 系 统 是 一 个 具有 多 个 相 容 目标 的 系统 ,其 正确 性 可 能 表现 为 
传统 正确 性 描述 的 一 个 补充 ,同时 ,多 目标 的 正确 性 概念 也 是 网 构 软 件 演化 的 基本 依据 , 正 
确 性 概念 的 变化 可 能 会 导致 传统 软件 工程 体系 中 与 正确 性 相关 的 软件 规约 ,程序 语义 和 程 
序 验证 等 理论 体系 的 变化 ,更 进一步 ,多 目标 正确 性 概念 还 可 能 导致 软件 测试 技术 的 新 的 
发 展 。 


习题 6.12 


1. 什么 是 网 构 软 件 ? 
2. 网 构 软 件 有 哪些 特性 ? 
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